Список литературы

2313-8912

Научный результат. Вопросы теоретической и прикладной лингвистики

2313-8912

10.18413/2313-8912-2026-12-3-0-7

4353

ПРИКЛАДНАЯ ЛИНГВИСТИКА

<strong>AI как писатель глазами читателя: результаты психолингвистического эксперимента по оценке сгенерированных художественных текстов любительской прозы</strong>

<strong>AI as a literary author from the reader’s perspective: findings from a psycholinguistic experiment assessing synthetic amateur prose</strong>

Колмогорова

Анастасия Владимировна

Kolmogorova

Anastasia Vladimirovna

akolmogorova@hse.ru

Национальный исследовательский университет «Высшая школа экономики»

2026

12300

Большие языковые модели выполняют все больше разнообразных задач, в том числе генерируют длинные тексты, претендующие на художественность. Цель статьи – сравнить субъективные оценки качества художественных текстов, созданных большими языковыми моделями (БЯМ), с текстами, написанными людьми в жанре любительской прозы по мотивам романов о Гарри Поттере. Материалом для оценки послужили шесть текстов на английском языке: три, сгенерированные искусственным интеллектом с использованием разных подходов, и три, написанные реальными авторами. Исследование проведено с помощью метода психолингвистического эксперимента. Восемнадцать информантов оценивали тексты по восьми критериям, отражающим ключевые категории художественности: когерентность (целостность), смысловая и лексико-грамматическая связность (когезия), ритм повествования, эмоциональность, субъективная модальность сомнения, сложность синтаксиса и выразительность (идиоматичность, креативность, сильные позиции текста). Обработка результатов включала статистический анализ объективных параметров лингвистической сложности текстов, полученных от информантов субъективных оценок, а также кластеризацию векторизованных пересказов текстов, предоставленных информантами. Результаты показали, что разрыв между человеческими и машинными текстами неодинаков в разных категориях. Благодаря специальным методам генерации, синтетические тексты смогли приблизиться к естественным по параметрам общей когерентности и синтаксической сложности. Однако наиболее значимые отличия проявились в категориях ритма, смысловой связности и присутствия субъективной модальности сомнения, которые читатели оценили в синтетических текстах значительно ниже. Тем не менее, один из сгенерированных текстов продемонстрировал качество, сопоставимое с написанными текстами, по таким параметрам, как идиоматичность, креативность и способность маркировать сильные позиции. Кластеризация пересказов подтвердила, что этот текст, в отличие от двух других сгенерированных, вызвал у читателей более единообразное понимание сюжета. Делается вывод, что главным вызовом для ИИ остается не столько построение иерархической структуры связного текста, сколько создание динамичного, психологически достоверного и ритмически организованного повествования. Категории смысловой связности, ритма и модальности сомнения являются на данный момент той границей, которая отделяет искусственный интеллект от человеческого в сфере литературного творчества.

Large language models (LLMs) are performing an increasing variety of tasks, including generating long texts that aspire to literary quality. The aim of this article is to compare subjective assessments of the quality of literary texts created by large language models with human-written texts in the genre of fan fiction based on the Harry Potter novels. The material for the evaluation consisted of six texts in English: three generated by AI using different approaches, and three written by human authors. The present study utilizes a psycholinguistic experimental design. Eighteen informants evaluated the texts according to eight criteria reflecting key categories of literariness: coherence (integrity), semantic and lexico-grammatical cohesion, narrative rhythm, emotionality, subjective modality of doubt, syntactic complexity, and expressiveness (idiomaticity, creativity, strong textual positions). The data processing included statistical analysis of objective parameters of linguistic complexity in the texts, subjective evaluations obtained from informants, as well as clustering of vectorized retellings of the texts provided by the informants. The results showed that the gap between human and AI-generated texts varies across different categories. Thanks to specific generation methods, the synthetic texts managed to approach human-written ones in terms of overall coherence and syntactic complexity. However, the most significant differences emerged in the categories of rhythm, semantic cohesion, and the presence of the subjective modality of doubt, which readers rated significantly lower in the synthetic texts. Nevertheless, one of the generated texts was of a quality comparable to that of a human writer in terms of idiomaticity, creativity and the ability to take a strong position on a topic. Clustering of summaries confirmed that this text, unlike the other two generated ones, led to a more uniform understanding of the plot among readers. It can be concluded that the main challenge for AI is not so much the construction of a coherent, hierarchical text structure, but rather the creation of a dynamic, psychologically authentic and rhythmically organised narrative. The categories of semantic cohesion, rhythm, and modality of doubt currently represent the frontier separating artificial intelligence from human intelligence in the realm of literary creativity.

Большая языковая модельГенерация текстовХудожественный текстПсихолингвистический экспериментКритерии художественности

Large language modelText generationLiterary textPsycholinguistic experimentcriteria of literariness

Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ (HSE-BR-2025-032).

Список литературы

Арнольд И. В. Семантика. Стилистика. Интертекстуальность: сборник научных трудов / И. В. Арнольд; научный редактор П. Е. Бухаркин. М.: ФЛИНТА, 2019. 448 c.

Базилевский М. П. Исследование новых критериев для обнаружения автокорреляции остатков первого порядка в регрессионных моделях // Математика и математические модели. 2018. C. 13–25. DOI:10.24108/MATHM.0318.0000102

Гальперин И. Р. Текст как объект лингвистического исследования. М.: URSS, 2007. 137 c.

Гиршман М. Ритм и целостность прозаического художественного произведения / М. Гиршман // Вопросы литературы. 1974. № 11. C. 128−150.

Лотман Ю. М. Структура художественного текста // Лотман Ю.М. Об искусстве. СПб.: «Искусство – СПБ», 1998. 383 c.

Матвеева Т. В. Функциональные стили в аспекте текстовых категорий: Синхронно-сопоставительный очерк. Свердловск: Изд-во Урал. ун-та, 1990. 172 c.

Шаховский В. И. Эмоции: Долингвистика, лингвистика, лингвокультурология. М.: Либроком, 2010. 128 c.

Шкловский В. Строение рассказа и романа // О теории прозы. М.: Изд-во «Круг», 1925. С. 56–69.

Boriskin A., Galimzianova D. The LSG ChallengeWorkshop at INLG 2024: Prompting Techniques for Crafting Extended Narratives with LLMs // Proceedings of the 17th International Natural Language Generation Conference: Generation Challenges, Tokyo, Japan. Association for Computational Linguistics. P. 118–122.

Chakrabarty T., Padmakumar V., He H. Help Me Write a Poem: Instruction Tuning as a Vehicle for Collaborative Poetry Writing. Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022). Abu Dhabi, United Arab Emirates: Association for Computational Linguistics, 2022. P. 6848–6863.

Charolles M. Introduction aux problems de la cohérence des textes // Langue française. 1978. Vol. 38. P. 7–41.

Charaudeau P., Maingueneau D. Dictionnaire d'Analyse du Discours. Paris: Seuil, 2002. 661 p.

Combettes B. Thématisation et progression thématique dans les récits d’enfants // Langue française. 1978. Vol. 38. Pp. 74–86.

Flesch R. A new readability yardstick // Journal of Applied Psychology. 1948. № 32 (3). Pp. 221–233.

Graesser A. C., Singer M., & Trabasso T. Constructing inferences during narrative text comprehension. Psychological Review. 1994. Vol. 101(3). Pp. 371–395.

Guan J., Huang M. UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation // Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Online: Association for Computational Linguistics, 2020. Pp. 9157–9166.

Iaroshenko P. V., Louckachevitch N. V. Large Language Models versus Native Speakers in Emotional Assessment of Russian Words // Supercomputing Frontiers and Innovations. 2025. Vol. 12. No. 3. Pp. 20-30. DOI: 10.14529/jsfi250302

Ippolito D., Yuan A., Coenen A., Burnam S. Creative Writing with an AI-Powered Writing Assistant: Perspectives from Professional Writers. 2022. DOI: 10.48550/arXiv.2211.05030

Johnson-Laird, P. N. Mental Models: Towards a Cognitive Science of Language, Inference, and Consciousness. Cambridge, MA: Harvard University Press, 1983. 513 p.

Jin Y., Kadam V., Wanvarie D. Plot Writing From Pre-Trained Language Models // Proceedings of the 15th International Conference on Natural Language Generation (INLG 2022). 2022. Pp. 52–67.

Kolmogorova A., Kulikova E., Lobanov V. Aspect-Based Sentiment Analysis Using Large Language Models on Museum Visitor Reviews // Supercomputing Frontiers and Innovations. 2025. Vol. 12. No. 3. Pp. 121–140. https://doi.org/10.14529/jsfi250309

Kryscinski W., Keskar N. S., McCann B., Xiong C., Socher R. Neural Text Summarization: A Critical Evaluation // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Hong Kong, China: Association for Computational Linguistics, 2019. Pp. 540–551.

Lee Y., Ka S., Son B., Kang P., Kang J. Navigating the Path of Writing: Outline-guided Text Generation with Large Language Models // arXiv:2404.13919.

https://doi.org/10.48550/arXiv.2404.13919

Lewis P., Perez E., Piktus A., Petroni F., Karpukhin V., Goyal N., Küttler H., Lewis M., Yih W., Rocktäschel T., Riedel S., Kiela D. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks // arXiv:2005.11401v4. 2021. DOI: 10.48550/arXiv.2005.11401.

Mann W. C., Thompson S. A. Rhetorical Structure Theory: Toward a functional theory of text organization. 1988. Text, 8 (3). Pp. 243–281.

Migal A., Seredina D., Telnina L., Nazarov N., Kolmogorova A., Mikhaylovskiy N. Overview of Long Story Generation Challenge (LSGC) at INLG 2024 // Proceedings of the 17th International Natural Language Generation Conference: Generation Challenges. Tokyo, Japan: Association for Computational Linguistics. Pp. 47–53.

Mikhaylovskiy N. States of LLM-generated Texts and Phase Transitions between them // arXiv:2503.06330 [cs.CL]. DOI: 10.48550/arXiv.2503.06330.

Seredina D. A Report on LSG 2024: LLM Fine-Tuning for Fictional Stories Generation // Proceedings of the 17th International Natural Language Generation Conference: Generation Challenges. Tokyo, Japan: Association for Computational Linguistics. Pp. 123–127.

Shen C., Cheng L., Nguyen X., You Y., Bing L. Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization. 2023. https://arxiv.org/abs/2305.1309. DOI: 10.48550/arXiv.2305.13091

Singh N., Bernal G., Savchenko D., Glassman E. L. Where to hide a stolen elephant: Leaps in creative writing with multimodal machine intelligence // ACM Transactions on Computer-Human Interaction. 2023. Vol. 30 (5). Pp. 1–57.

Takahashi S., Tanaka-Ishii K. Evaluating computational language models with scaling properties of natural language // Computational Linguistics. 2019. Vol. 45 (3). Pp. 481–513. DOI: 10.48550/arXiv.1906.09379

Vatolin A. Structured Sentiment Analysis with Large Language Models: A Winning Solution for RuOpinionNE-2024 // Proceedings of International Conference on Computational Linguistics and Intelligent Technologies Dialogue 2025. 2025.

Zhang Y., Sun Q., Guo Q., Wu J., Qiu X., Huang X. Do Large Language Models Know What They Don’t Know? // arXiv:2210.03025. 2022. DOI: 10.48550/arXiv.2209.01515

Zheng L., Chiang W., Sheng Y., Zhuang S., Wu Z., Zhuang Y., Lin Z., Li Z., Li D., Xing E. P., Zhang H., Gonzalez J. E., Stoica I. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena // arXiv:2306.05685v4. DOI: 10.48550/arXiv.2306.05685.

Zhong W., Naradowsky J., Takamura H., Kobayashi I., Miyao Y. Fiction-writing mode: An effective control for human-machine collaborative writing // Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics. 2023. Pp. 1752–1765.

Zhou D., Sterman S. Ai.llude: Encouraging Rewriting AI-Generated Text to Support Creative Expression. 2024. DOI: 10.48550/arXiv.2405.17843

Материалы исследования

Олеша Ю. Ни дня без строчки. М.: ФТМ, 1961. 464 c.

Филиппов К. А. Лингвистика текста: Курс лекций. СПб.: Изд-во С.-Петерб.ун-та, 2007. 329 c.