Большие языковые модели выполняют все больше разнообразных задач, в том числе генерируют длинные тексты, претендующие на художественность. Цель статьи – сравнить субъективные оценки качества художественных текстов, созданных большими языковыми моделями (БЯМ), с текстами, написанными людьми в жанре любительской прозы по мотивам романов о Гарри Поттере. Материалом для оценки послужили шесть текстов на английском языке: три, сгенерированные искусственным интеллектом с использованием разных подходов, и три, написанные реальными авторами. Исследование проведено с помощью метода психолингвистического эксперимента. Восемнадцать информантов оценивали тексты по восьми критериям, отражающим ключевые категории художественности: когерентность (целостность), смысловая и лексико-грамматическая связность (когезия), ритм повествования, эмоциональность, субъективная модальность сомнения, сложность синтаксиса и выразительность (идиоматичность, креативность, сильные позиции текста). Обработка результатов включала статистический анализ объективных параметров лингвистической сложности текстов, полученных от информантов субъективных оценок, а также кластеризацию векторизованных пересказов текстов, предоставленных информантами.

Результаты показали, что разрыв между человеческими и машинными текстами неодинаков в разных категориях. Благодаря специальным методам генерации, синтетические тексты смогли приблизиться к естественным по параметрам общей когерентности и синтаксической сложности. Однако наиболее значимые отличия проявились в категориях ритма, смысловой связности и присутствия субъективной модальности сомнения, которые читатели оценили в синтетических текстах значительно ниже. Тем не менее, один из сгенерированных текстов продемонстрировал качество, сопоставимое с написанными текстами, по таким параметрам, как идиоматичность, креативность и способность маркировать сильные позиции. Кластеризация пересказов подтвердила, что этот текст, в отличие от двух других сгенерированных, вызвал у читателей более единообразное понимание сюжета.

Делается вывод, что главным вызовом для ИИ остается не столько построение иерархической структуры связного текста, сколько создание динамичного, психологически достоверного и ритмически организованного повествования. Категории смысловой связности, ритма и модальности сомнения являются на данный момент той границей, которая отделяет искусственный интеллект от человеческого в сфере литературного творчества.