Большие языковые модели выполняют все больше разнообразных задач, в том числе генерируют длинные тексты, претендующие на художественность. Цель статьи – сравнить субъективные оценки качества художественных текстов, созданных большими языковыми моделями (БЯМ), с текстами, написанными людьми в жанре любительской прозы по мотивам романов о Гарри Поттере. Материалом для оценки послужили шесть текстов на английском языке: три, сгенерированные искусственным интеллектом с использованием разных подходов, и три, написанные реальными авторами. Исследование проведено с помощью метода психолингвистического эксперимента. Восемнадцать информантов оценивали тексты по восьми критериям, отражающим ключевые категории художественности: когерентность (целостность), смысловая и лексико-грамматическая связность (когезия), ритм повествования, эмоциональность, субъективная модальность сомнения, сложность синтаксиса и выразительность (идиоматичность, креативность, сильные позиции текста). Обработка результатов включала статистический анализ объективных параметров лингвистической сложности текстов, полученных от информантов субъективных оценок, а также кластеризацию векторизованных пересказов текстов, предоставленных информантами. Результаты показали, что разрыв между человеческими и машинными текстами неодинаков в разных категориях. Благодаря специальным методам генерации, синтетические тексты смогли приблизиться к естественным по параметрам общей когерентности и синтаксической сложности. Однако наиболее значимые отличия проявились в категориях ритма, смысловой связности и присутствия субъективной модальности сомнения, которые читатели оценили в синтетических текстах значительно ниже. Тем не менее, один из сгенерированных текстов продемонстрировал качество, сопоставимое с написанными текстами, по таким параметрам, как идиоматичность, креативность и способность маркировать сильные позиции. Кластеризация пересказов подтвердила, что этот текст, в отличие от двух других сгенерированных, вызвал у читателей более единообразное понимание сюжета. Делается вывод, что главным вызовом для ИИ остается не столько построение иерархической структуры связного текста, сколько создание динамичного, психологически достоверного и ритмически организованного повествования. Категории смысловой связности, ритма и модальности сомнения являются на данный момент той границей, которая отделяет искусственный интеллект от человеческого в сфере литературного творчества.
Large language models (LLMs) are performing an increasing variety of tasks, including generating long texts that aspire to literary quality. The aim of this article is to compare subjective assessments of the quality of literary texts created by large language models with human-written texts in the genre of fan fiction based on the Harry Potter novels. The material for the evaluation consisted of six texts in English: three generated by AI using different approaches, and three written by human authors. The present study utilizes a psycholinguistic experimental design. Eighteen informants evaluated the texts according to eight criteria reflecting key categories of literariness: coherence (integrity), semantic and lexico-grammatical cohesion, narrative rhythm, emotionality, subjective modality of doubt, syntactic complexity, and expressiveness (idiomaticity, creativity, strong textual positions). The data processing included statistical analysis of objective parameters of linguistic complexity in the texts, subjective evaluations obtained from informants, as well as clustering of vectorized retellings of the texts provided by the informants. The results showed that the gap between human and AI-generated texts varies across different categories. Thanks to specific generation methods, the synthetic texts managed to approach human-written ones in terms of overall coherence and syntactic complexity. However, the most significant differences emerged in the categories of rhythm, semantic cohesion, and the presence of the subjective modality of doubt, which readers rated significantly lower in the synthetic texts. Nevertheless, one of the generated texts was of a quality comparable to that of a human writer in terms of idiomaticity, creativity and the ability to take a strong position on a topic. Clustering of summaries confirmed that this text, unlike the other two generated ones, led to a more uniform understanding of the plot among readers. It can be concluded that the main challenge for AI is not so much the construction of a coherent, hierarchical text structure, but rather the creation of a dynamic, psychologically authentic and rhythmically organised narrative. The categories of semantic cohesion, rhythm, and modality of doubt currently represent the frontier separating artificial intelligence from human intelligence in the realm of literary creativity.
Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ (HSE-BR-2025-032).