AI как писатель глазами читателя: результаты психолингвистического эксперимента по оценке сгенерированных художественных текстов любительской прозы
Большие языковые модели выполняют все больше разнообразных задач, в том числе генерируют длинные тексты, претендующие на художественность. Цель статьи – сравнить субъективные оценки качества художественных текстов, созданных большими языковыми моделями (БЯМ), с текстами, написанными людьми в жанре любительской прозы по мотивам романов о Гарри Поттере. Материалом для оценки послужили шесть текстов на английском языке: три, сгенерированные искусственным интеллектом с использованием разных подходов, и три, написанные реальными авторами. Исследование проведено с помощью метода психолингвистического эксперимента. Восемнадцать информантов оценивали тексты по восьми критериям, отражающим ключевые категории художественности: когерентность (целостность), смысловая и лексико-грамматическая связность (когезия), ритм повествования, эмоциональность, субъективная модальность сомнения, сложность синтаксиса и выразительность (идиоматичность, креативность, сильные позиции текста). Обработка результатов включала статистический анализ объективных параметров лингвистической сложности текстов, полученных от информантов субъективных оценок, а также кластеризацию векторизованных пересказов текстов, предоставленных информантами.
Результаты показали, что разрыв между человеческими и машинными текстами неодинаков в разных категориях. Благодаря специальным методам генерации, синтетические тексты смогли приблизиться к естественным по параметрам общей когерентности и синтаксической сложности. Однако наиболее значимые отличия проявились в категориях ритма, смысловой связности и присутствия субъективной модальности сомнения, которые читатели оценили в синтетических текстах значительно ниже. Тем не менее, один из сгенерированных текстов продемонстрировал качество, сопоставимое с написанными текстами, по таким параметрам, как идиоматичность, креативность и способность маркировать сильные позиции. Кластеризация пересказов подтвердила, что этот текст, в отличие от двух других сгенерированных, вызвал у читателей более единообразное понимание сюжета.
Делается вывод, что главным вызовом для ИИ остается не столько построение иерархической структуры связного текста, сколько создание динамичного, психологически достоверного и ритмически организованного повествования. Категории смысловой связности, ритма и модальности сомнения являются на данный момент той границей, которая отделяет искусственный интеллект от человеческого в сфере литературного творчества.
Иллюстрации
Колмогорова А. В. AI как писатель глазами читателя: результаты психолингвистического эксперимента по оценке сгенерированных художественных текстов любительской прозы // Научный результат. Вопросы теоретической и прикладной лингвистики. 2026. Т. 12. № 3. C. 170–199.
Пока никто не оставил комментариев к этой публикации.
Вы можете быть первым.
Арнольд И. В. Семантика. Стилистика. Интертекстуальность: сборник научных трудов / И. В. Арнольд; научный редактор П. Е. Бухаркин. М.: ФЛИНТА, 2019. 448 c.
Базилевский М. П. Исследование новых критериев для обнаружения автокорреляции остатков первого порядка в регрессионных моделях // Математика и математические модели. 2018. C. 13–25. DOI:10.24108/MATHM.0318.0000102
Гальперин И. Р. Текст как объект лингвистического исследования. М.: URSS, 2007. 137 c.
Гиршман М. Ритм и целостность прозаического художественного произведения / М. Гиршман // Вопросы литературы. 1974. № 11. C. 128−150.
Лотман Ю. М. Структура художественного текста // Лотман Ю.М. Об искусстве. СПб.: «Искусство – СПБ», 1998. 383 c.
Матвеева Т. В. Функциональные стили в аспекте текстовых категорий: Синхронно-сопоставительный очерк. Свердловск: Изд-во Урал. ун-та, 1990. 172 c.
Шаховский В. И. Эмоции: Долингвистика, лингвистика, лингвокультурология. М.: Либроком, 2010. 128 c.
Шкловский В. Строение рассказа и романа // О теории прозы. М.: Изд-во «Круг», 1925. С. 56–69.
Boriskin A., Galimzianova D. The LSG ChallengeWorkshop at INLG 2024: Prompting Techniques for Crafting Extended Narratives with LLMs // Proceedings of the 17th International Natural Language Generation Conference: Generation Challenges, Tokyo, Japan. Association for Computational Linguistics. P. 118–122.
Chakrabarty T., Padmakumar V., He H. Help Me Write a Poem: Instruction Tuning as a Vehicle for Collaborative Poetry Writing. Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022). Abu Dhabi, United Arab Emirates: Association for Computational Linguistics, 2022. P. 6848–6863.
Charolles M. Introduction aux problems de la cohérence des textes // Langue française. 1978. Vol. 38. P. 7–41.
Charaudeau P., Maingueneau D. Dictionnaire d'Analyse du Discours. Paris: Seuil, 2002. 661 p.
Combettes B. Thématisation et progression thématique dans les récits d’enfants // Langue française. 1978. Vol. 38. Pp. 74–86.
Flesch R. A new readability yardstick // Journal of Applied Psychology. 1948. № 32 (3). Pp. 221–233.
Graesser A. C., Singer M., & Trabasso T. Constructing inferences during narrative text comprehension. Psychological Review. 1994. Vol. 101(3). Pp. 371–395.
Guan J., Huang M. UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation // Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Online: Association for Computational Linguistics, 2020. Pp. 9157–9166.
Iaroshenko P. V., Louckachevitch N. V. Large Language Models versus Native Speakers in Emotional Assessment of Russian Words // Supercomputing Frontiers and Innovations. 2025. Vol. 12. No. 3. Pp. 20-30. DOI: 10.14529/jsfi250302
Ippolito D., Yuan A., Coenen A., Burnam S. Creative Writing with an AI-Powered Writing Assistant: Perspectives from Professional Writers. 2022. DOI: 10.48550/arXiv.2211.05030
Johnson-Laird, P. N. Mental Models: Towards a Cognitive Science of Language, Inference, and Consciousness. Cambridge, MA: Harvard University Press, 1983. 513 p.
Jin Y., Kadam V., Wanvarie D. Plot Writing From Pre-Trained Language Models // Proceedings of the 15th International Conference on Natural Language Generation (INLG 2022). 2022. Pp. 52–67.
Kolmogorova A., Kulikova E., Lobanov V. Aspect-Based Sentiment Analysis Using Large Language Models on Museum Visitor Reviews // Supercomputing Frontiers and Innovations. 2025. Vol. 12. No. 3. Pp. 121–140. https://doi.org/10.14529/jsfi250309
Kryscinski W., Keskar N. S., McCann B., Xiong C., Socher R. Neural Text Summarization: A Critical Evaluation // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Hong Kong, China: Association for Computational Linguistics, 2019. Pp. 540–551.
Lee Y., Ka S., Son B., Kang P., Kang J. Navigating the Path of Writing: Outline-guided Text Generation with Large Language Models // arXiv:2404.13919.
https://doi.org/10.48550/arXiv.2404.13919
Lewis P., Perez E., Piktus A., Petroni F., Karpukhin V., Goyal N., Küttler H., Lewis M., Yih W., Rocktäschel T., Riedel S., Kiela D. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks // arXiv:2005.11401v4. 2021. DOI: 10.48550/arXiv.2005.11401.
Mann W. C., Thompson S. A. Rhetorical Structure Theory: Toward a functional theory of text organization. 1988. Text, 8 (3). Pp. 243–281.
Migal A., Seredina D., Telnina L., Nazarov N., Kolmogorova A., Mikhaylovskiy N. Overview of Long Story Generation Challenge (LSGC) at INLG 2024 // Proceedings of the 17th International Natural Language Generation Conference: Generation Challenges. Tokyo, Japan: Association for Computational Linguistics. Pp. 47–53.
Mikhaylovskiy N. States of LLM-generated Texts and Phase Transitions between them // arXiv:2503.06330 [cs.CL]. DOI: 10.48550/arXiv.2503.06330.
Seredina D. A Report on LSG 2024: LLM Fine-Tuning for Fictional Stories Generation // Proceedings of the 17th International Natural Language Generation Conference: Generation Challenges. Tokyo, Japan: Association for Computational Linguistics. Pp. 123–127.
Shen C., Cheng L., Nguyen X., You Y., Bing L. Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization. 2023. https://arxiv.org/abs/2305.1309. DOI: 10.48550/arXiv.2305.13091
Singh N., Bernal G., Savchenko D., Glassman E. L. Where to hide a stolen elephant: Leaps in creative writing with multimodal machine intelligence // ACM Transactions on Computer-Human Interaction. 2023. Vol. 30 (5). Pp. 1–57.
Takahashi S., Tanaka-Ishii K. Evaluating computational language models with scaling properties of natural language // Computational Linguistics. 2019. Vol. 45 (3). Pp. 481–513. DOI: 10.48550/arXiv.1906.09379
Vatolin A. Structured Sentiment Analysis with Large Language Models: A Winning Solution for RuOpinionNE-2024 // Proceedings of International Conference on Computational Linguistics and Intelligent Technologies Dialogue 2025. 2025.
Zhang Y., Sun Q., Guo Q., Wu J., Qiu X., Huang X. Do Large Language Models Know What They Don’t Know? // arXiv:2210.03025. 2022. DOI: 10.48550/arXiv.2209.01515
Zheng L., Chiang W., Sheng Y., Zhuang S., Wu Z., Zhuang Y., Lin Z., Li Z., Li D., Xing E. P., Zhang H., Gonzalez J. E., Stoica I. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena // arXiv:2306.05685v4. DOI: 10.48550/arXiv.2306.05685.
Zhong W., Naradowsky J., Takamura H., Kobayashi I., Miyao Y. Fiction-writing mode: An effective control for human-machine collaborative writing // Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics. 2023. Pp. 1752–1765.
Zhou D., Sterman S. Ai.llude: Encouraging Rewriting AI-Generated Text to Support Creative Expression. 2024. DOI: 10.48550/arXiv.2405.17843
Материалы исследования
Олеша Ю. Ни дня без строчки. М.: ФТМ, 1961. 464 c.
Филиппов К. А. Лингвистика текста: Курс лекций. СПб.: Изд-во С.-Петерб.ун-та, 2007. 329 c.
Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ (HSE-BR-2025-032).