1. Введение

Появление Больших языковых моделей (далее – БЯМ) существенно изменило не только диапазон функций, которые отныне человек может делегировать моделям, но и заставило перейти к размышлениям о том, что составляет специфику когнитивной системы и речевой деятельности Homo Sapiens.

Когда в 2021 г. начали внедряться в практику модели типа Generative Pre-trained Transformer (GPT) стало очевидно, что функция порождения осмысленных текстов им вполне по силам. Однако на тот момент моделям явно не хватало дополнительных знаний, они не обладали экспертностью в специфических областях профессиональной деятельности, например, в машиностроении, медицине, креативных индустриях и не могли перейти от рутинных задач на уровень созидательности в процессе генерации текстов. К 2026 году многие из вышеупомянутых лакун оказались заполнены.

Так, благодаря технологии Retrieved Augmented Generation (RAG) (Lewis et al., 2021), современные БЯМ легко решают задачи генерации текстов, вербализующих экспертную оценку: чтобы предлагать пользователю достоверную информацию из авторитетных источников, модель обращается к специальным базам знаний, подготовленным специалистами в той или иной сфере.

БЯМ могут выступать в качестве внешнего эксперта, оценивая свои собственные результаты – в этом случае применяется подход «LLM as a judge» (Zheng et al., 2023). Модели эффективно используются для анализа мнений и эмоциональной тональности текстов (Vatolin, 2025; Kolmogorova et al., 2025), тестируются в задаче эмоциональной оценки стимульных слов (Iaroshenko, Louckachevitch, 2025). Иными словами, осталось ограниченное число задач в области порождения и понимания текстов, в которых естественные когнитивные агенты (люди) сохраняют свою исключительность и уникальность. Одна из таких сфер – создание художественных текстов, обладающих оригинальным содержанием, системой смыслов и собственной эстетикой.

В данной статье представлен один из аспектов работы, проведенной группой исследователей по генерации длинных текстов. Поскольку на сегодняшний момент так называемое контекстное окно (т.е. то количество токенов, которое БЯМ может удерживать в оперативной памяти) большинства моделей достаточно ограничено, модель не может сгенерировать связный и тематически единый текст объемом 40 000 знаков и более по одному запросу. В этой связи «длинная генерация» представляет собой исследовательскую и техническую проблему, которой и было посвящено соревнование, организованное в рамках Международной научной конференции по текстовой генерации INLG–2024^[1]. Однако в фокусе нашей статьи находится другой аспект – не технический, а лежащий в области психолингвистики текста. После того, как команды-участники соревнования предоставили организаторам получившиеся синтетические фанфикшн-тексты, мы перемешали их с подобными текстами, созданными реальными авторами, пишущими в данном жанре. Сформулировав ряд категорий, важных для характеристики художественного текста, мы разработали внутри каждой категории критерии для оценивания и предложили информантам оценить по ним шесть текстов, три из которых были сгенерированными, а другие три – написанными.

Получившиеся результаты, на наш взгляд, требуют филологического и психолингвистического осмысления, поскольку в них интересно не только то, как данные категории поддаются синтетическому воспроизведению, но и то, как читатели мыслят «художественность». Таким образом, цель данной статьи состоит в том, чтобы сравнить полученные в эксперименте субъективные оценки качества художественных текстов, созданных БЯМ и написанных людьми, и оценить на материале данной конкретной выборки, какие текстовые категории 1) важны для субъективного канона “художественного текста”, сформированного в сознании студентов-филологов, принимавших участие в эксперименте; 2) уже присутствуют в синтетических текстах, позволяя последним определенным образом конкурировать с написанными текстами.

2. Техники генерации длинных текстов непрофессиональной прозы

Главная проблема генерации длинных текстов состоит в том, что БЯМ пока не способны строить иерархически организованный текст. Основное математически обоснованное отличие текстов сгенерированных от текстов написанных состоит в том, что значения автокорреляции^[2] у первых уменьшаются по экспоненте, скользя резко вниз по мере удлинения текста, а у вторых – по степенному закону, т.е. постепенно (Базилевский, 2018). Иными словами, модель быстро «забывает» то, что было написано ею ранее – чем дальше от актуального «окна» текстопорождения отодвигается контекст, тем меньше вероятность того, что модель каким-то образом свяжет его с текстом, генерируемым в данный момент (Takahashi and Tanaka-Ishii, 2019). Более плавное же снижение значений автокорреляции, по мнению Н. Э. Михайловского (Mikhaylovskiy, 2025), обусловлено иерархичностью организации художественного текста, написанного писателем. Так, в романе «Война и мир» Л. Н. Толстого можно насчитать семь уровней текстовой иерархии: весь роман − том – часть – глава – параграф – строка – буква (Там же). При этом, реализуя такую иерархичность, писатель может легко переходить между уровнями – оттолкнувшись от некоторой детали, создать образ персонажа, действия и поступки которого составят основу сюжетной канвы всего произведения. Иллюстративный пример структурирования такого рода иерархии на этапе писательского замысла можно найти в автобиографических заметках Ю. Олеши «Ни дня без строчки» (Олеша, 1961). В одной из заметок можно проследить, как писатель в режиме реального времени намечает контуры замысла будущей пьесы об учителе пения Цветкове, который хочет познакомить всех учеников школы с творчеством У. Шекспира и расстраивается, когда намеченная читка текстов классика превращается в нелепую сцену из-за организационной оплошности его лучшей ученицы Тони. После такой, первой, идеи Ю. Олеша формулирует основную мысль будущей пьесы: «каждый может ознакомиться с Шекспиром, важно самому быть героем» и переносит дальнейшее действие в годы Великой Отечественной войны, где Тоня геройски погибает от рук фашистов. Иными словами, мысль писателя движется от первой возникшей в его воображении сцены к общему замыслу пьесы, чтобы затем вновь вернуться к развертыванию дальнейшего сюжета. Кроме того, в случае кольцевой структуры романа, писатель в конце текста может предложить читателю вновь обратиться к некоторым важным ориентирам, оставленным им в начале текста для того, чтобы полнее переосмыслить метаморфозы, которые пережил герой (Шкловский, 2025: 58). Таким образом, именно присутствие иерархичности на уровне художественной организации позволяет признавать некоторую совокупность фраз естественного языка художественным текстом (Лотман, 1998: 38).

Следует признать, что пока БЯМ не могут в полной мере выстроить подобную иерархию и свободно перемещаться между ее уровнями, подобно человеку (Ippolito et al., 2022; Jin et al., 2022), довольствуясь ролью ассистента писателя (Singh et al., 2023; Zhong et al., 2023; Zhou et al., 2024) или поэта (Chakrabarty et al., 2022). На поиск возможных путей преодоления этих трудностей и была нацелена коллективная работа по генерации длинных художественных текстов в рамках INLG.

Общая методологическая рамка экспериментов с БЯМ была выстроена следующим образом.

Задачей участников было получить от БЯМ, выбор которых не ограничивался, тексты любительской прозы по мотивам романа Джоан Роулинг «Гарри Поттер». Важным условием было то, что текст должен быть написан на английском языке, а его объем не должен был быть меньше, чем 40 000 знаков. В качестве некоторой начальной стимульной инструкции для БЯМ предлагались тексты объемом 1500 знаков, написанные студентами-лингвистами 4 курса бакалаврской программы “Лингвистика” отделения иностранных языков Пермского государственного национально исследовательского университета и представляющие собой зачины историй на основе сюжета романа.

Большинством команд-участников соревнования была применена близкая методология.

Так, в (Seredina, 2024) использовался подход, при котором на первом этапе БЯМ Mistral-7B-Instruct-v0.2-GPTQ^[3] генерировала структуру нарратива: общее описание контекста, в котором происходит действие; завязку; кульминацию и развязку истории. Затем с помощью нового промпта и той же модели генерировались названия глав и их краткое содержание. На третьем этапе проводилась тонкая настройка модели Mistral-7B-Instruct-v0.2-GPTQ, которая дообучалась гибридным способом на основе методов обучения с учителем (Supervised Learning) и самообучения (Self-Supervised Learning). Для тонкой настройки модели использовался датасет, который состоял из текстов 500 книг на английском языке, размещенных на платформе проекта Гуттенберг^[4]. Каждая книга разбивалась на фрагменты по 1500 знаков, для которых затем БЯМ давала краткий пересказ. Таким образом, модели обучалась сопоставлять пересказ и развернутый оригинальный текст. После такой тонкой настройки Mistral-7B-Instruct-v0.2-GPTQ получала промпт на английском языке такого содержания: «Представь, что ты великий писатель и ты пишешь текст, следуя сюжетной канве <описание содержания главы, полученное на предыдущем этапе>. Опиши не только действия персонажей, но и их чувства, поведение и мотивы, добавь столько деталей, сколько нужно». В результате реализации такой структуры был получен текст требуемого объема в 40 000 знаков. Данный текст в нашей выборке обозначен номером 6.

В (Boriskin, Galimzianova, 2024) описан сходный, но не идентичный метод: авторы не использовали тонкую настройку, а просили модель генерировать сначала общее содержание истории, затем – названия глав и краткое содержание каждой главы, а потом последовательно подавали на вход модели Llama 3.1^[5] (70 миллиардов параметров) промпты, которые содержали в себе краткий пересказ содержания предыдущей главы. В нашей выборке данный текст будет иметь номер 3.

Похожий подход применялся в модели, которая была предложена организаторами соревнования^[6]. Сначала на вход БЯМ подавалась инструкция на английском языке следующего содержания: «Представь, что ты великий писатель и ты хочешь написать новую книгу о Гарри Поттере. Используй следующий зачин для начала истории <один из зачинов, предложенных студентами>. Раздели свое описание сюжета на 5 частей по образцу: “Содержание: Часть №: описание содержания части”. Не добавляй никаких комментариев». Аналогичным образом генерировались описания отдельных глав, а затем на вход модели подавались краткие содержания глав, чтобы получить собственно текст главы. Полученный текст будет фигурировать в нашей выборке под номером 5 (Migal et al., 2024).

Таким образом было получено три синтетических текста любительской прозы на английском языке по мотивам романа Джоан Роулинг «Гарри Поттер».

Общая описательная статистика по синтетическим и естественным текстам, участвовавшим в психолингвистическом эксперименте по оценке качества генерации представлена в разделе «Материал и методы».

3. Основные категории художественного текста

В исследованиях по созданию синтетических художественных текстов уже сложилась некоторая критериальная сетка, которая используется при оценке качества генерации такого текста информантами. Например, в (Lee et al., 2024) сгенерированные тексты оцениваются по 8 категориям: когерентность (соответствуют ли заголовки тексту); логичность развертывания сюжета; разнообразие тематических линий в процессе развертывания нарративной схемы; повторяемость тем (оценивается, насколько успешно в сгенерированном тексте удается избегать семантических повторов); «полезность информации», добавляемой в частях, конкретизирующих общую нарративную схему; «степень улучшения» (оценивает, насколько конкретизирующий текст отдельных глав и частей лучше раскрывает детали и смыслы общей нарративной схемы). В работах (Kryscinski et al., 2019; Shen et al., 2023; Guan et al., 2022) в качестве основных категорий используются: релевантность тем; соответствие частей (связь частей текста между собой); отсутствие повторяющихся сюжетов, отсутствие хаотических сцен, беглость (естественность текста каждого предложения).

В нашем эксперименте мы обратились к лингвистической традиции описания художественного текста и предложили информантам оценить тексты по следующим категориям: когерентность, смысловая связность, лексико-грамматическая связность, динамичность ритма повествования, присутствие субъективной модальности сомнения, эмоциональность, выразительность.

Обоснуем выбор категорий.

В немецкой школе анализа текстуальности (например, в работах
Р.-А. Богранда и В. Дресслера) когерентность понимается как когнитивные взаимосвязи между компонентами текста, которые пытаются установить продуцент и реципиент текста (Филиппов, 2007: 127). Во французской традиции П. Шародо и Д. Мэнгно конкретизируют данную категорию: когерентность – это такой принцип организации текста, который позволяет читателю заключить, что последовательность частей текста не является произвольной (Charaudeau, Maingueneau, 2002; Сharolles, 1978; Combettes, 1978). Представляется, что данный универсальный принцип также следует использовать для оценки синтетических художественных текстов.

Что касается когезии, то И. Р. Гальперин отмечает, что в художественном тексте настолько переплетены психологические, логические и формально-структурные средства когезии, что трудно дать их строгую типологическую характеристику (Гальперин, 2007: 74).

Мы выбрали два аспекта когезии: смысловую связность и лексико-грамматическую связность. Важность первого аспекта проистекает из того, что общий смысл текста выясняется адресатом постепенно, на основе накопления и анализа информации из его минимальных смысловых частей, при этом логика рассуждения автора и его логика изложения могут не всегда совпадать (Матвеева, 1990: 23). Для оценки компетенций AI как писателя в задаче длинной генерации чрезвычайно важно оценить, сможет ли такой «синтетический» автор справиться с задачей нелинейной организации хода мысли.

Лексико-грамматическая связность является необходимой предпосылкой создания связности смысловой, но действует преимущественно на уровне микроконтекстов.

Следующая категория – это ритм повествования в художественном тексте, который охватывает разные его уровни и включает в себя: различного рода повторы, контрасты тех или иных мотивов, образов и ситуаций, закономерности сюжетного движения, соотношения различных композиционно-речевых единиц, определенный порядок в развертывании системы образов-характеров и каждого из них в отдельности, мелодичность фразы, специфика построение сверхфразовых единств (Гиршман, 1974: 128). Нас интересовало, удастся ли в синтетических текстах увидеть движение ритма, его смену, обусловленную художественным замыслом.

В (Zhang et al., 2022) ставится проблема, связанная с тем, что БЯМ, в отличие от человека, “не осознают” ограниченности своих знаний, поэтому им не свойственно сомнение. Оттолкнувшись от данного тезиса, мы решили ввести в число текстовых категорий, подлежащих оцениванию, «присутствие субъективной модальности сомнения», подразумевая, что данная модальность может присутствовать как в авторском повествовании в случае гомодиегетического текста, так и
в репликах героев или в их нарративах в случае гетеродиегетического текста.

Мы также включили в число оцениваемых категорий синтаксическую структуру предложений и выразительность. Первую – поскольку при сложном синтаксисе БЯМ еще иногда генерируют слабо согласованные конструкции, а во вторую категорию мы включили оценку креативности и разнообразия стилистических приемов, использование идиом, которые традиционно считаются слабым местом моделей, а также степень выделенности сильных позиций текста^[7], в соответствии с концепцией стилистики декодирования (Арнольд, 2019).

Решено было также использовать категорию эмоциональности, поскольку «художественная литература отражает жизнь как картину мира в субъективно-эмоциональном преломлении конкретного автора» (Шаховский, 2010: 64). В этом отношении интересно было посмотреть, будет ли эмоциональность «выдавать» присутствие или отсутствие автора-человека.

4. Материал и методы психолингвисти­ческого эксперимента

Материал для эксперимента составили 6 текстов, 3 из которых были сгенерированы (в таблицах 1–2 имеют постфикс _gen, а затем на протяжении
всего текста они употребляются под постоянными номерами – текст № 3,
текст № 5, текст № 6), а еще 3 – написаны реальными авторами-англофонами, в течение нескольких лет пишущими в фанатских сообществах Джоан Роулинг. Объем каждого текста составил от 40000 до 45000 знаков без пробелов, а суммарный итоговый корпус составил
267 000 знаков. В таблице 1 представлены значения описательных статистик для данных текстов, а в таблице 2 – значения ряда метрик лингвистической сложности. Так, мы можем наблюдать, что один текст (№ 6) из 3 сгенерированных текстов имеет наибольшие в целом по выборке значения средней длины слова и среднего количества слогов в слове, при этом все сгенерированные тексты имеют большие значения средней длины предложения в словах, чем три написанных текста.

 Метрика MATTR (Moving-Avatage Type-Token-Ratio) высчитывается по формуле:

количество уникальных слов / общее количество слов) × 100%

где F  количество уникальных слов, А  общее количество слов.

Однако делается это на отрезках установленной исследователем длины (у нас это – 100 слов), а затем после обработки всех сегментов значения TTR усредняются.

Отмечаем (таблица 2), что у двух из трех сгенерированных текстов значение метрики меньше, чем у текстов естественных, то есть тексты 3 и 5 содержат меньше, чем написанные тексты 1, 2, 4, уникальных лемм. Исключение составляет текст № 6, для которого метрика лексического разнообразия имеет самые высокие значения в выборке. Hapax_legomena отражает количество слов в тексте, встречающихся единожды, поэтому логично, что распределение ее значений в целом повторяет распределение значений MATTR.

Table 2. Values of text complexity metrics

В качестве основного метода мы использовали метод психолингвистического эксперимента, в котором информантам (N=18) предлагалось прочитать текст и оценить его по разным категориям, используя шкалы от 1 до 5, а также высказать свою точку зрения относительно текста в свободной форме или пересказать его. Данные об информантах представлены в таблице 3: в выборке доминируют женщины, средний возраст информантов 20 лет и шесть месяцев, подавляющее большинство владеет английским языком на уровнях B1-B2, по регулярности чтения длинных текстов на английском языке информанты разделились на три примерно равные группы – читаю 1 раз в неделю/ в месяц/ в полгода. Все информанты являются студентами 3 курса ОП “Филология” НИУ ВШЭ – Санкт-Петербург.

Table 3. General characteristics of the informants

В приложении Google Forms был создан опросник, структура которого представлена ниже (таблица 4). Инструкция сформулирована таким образом, чтобы информант мог оценить категории лингвистики текста, взятые нами за основу категорий оценки, в том числе без опоры на профессиональные филологические знания – предполагалось, что необходимым и достаточным является наличие читательского опыта. Кроме того, с информантами была проведена тренировочная сессия разметки, в ходе которой на других текстах обсуждались критерии и особенности оценивания. Опросник предваряла следующая общая инструкция:

Дорогие друзья, спасибо, что продолжили участвовать в нашем исследовании. Вам на электронные почтовые ящики были отправлены три (пока, возможно потом добавится еще два) текста. Это любительские прозаические тексты по мотивам «Гарри Поттера». Ваша итоговая задача – оценить естественность данных текстов по тем шкалам, которые вы предложили сами, а мы просто отобрали нужно и структурировали. Вот несколько общих правил, которыми мы предлагаем вам руководствоваться: 1) сначала ознакомьтесь со шкалами нашего опросника (он будет состоять из четырех разделов – по одному разделу для каждого текста, в каждом разделе шкалы будут повторяться, но начнете вы с так называемой «паспортички», т.е. общих сведениях об информанте); 2) затем внимательно прочитайте по частям или единым рывком первый текст и оцените его в первом разделе; 3) аналогичным образом поступите со следующими двумя текстами; 4) если есть необходимость, вы можете вернуться к каждому из разделов и изменить оценки; 5) после каждого раздела мы будем предлагать вам в открытой форме записать какие-то свои рефлексии на тему. Ну, давайте начнем. Сначала небольшой социолингвистический блок, чтобы мы знали о вас немного больше, чем в первом опросе, на электронную почту по-прежнему нужно добавить для отчетности...C’est la vie

Table 4. Questionnaire structure

Вышеприведенная структура вопросов повторялась для каждого текста, иными словами, она была воспроизведена 6 раз.

Информантам давалось 14 дней для того, чтобы прочитать тексты и ответить на вопросы.

Общий план обработки результатов:

1. подсчет средних значений и стандартных отклонений значений, полученных по шкалам для каждого вопроса;
2. визуализация значений, полученных по каждому вопросу, с помощью диаграмм «скрипка», чтобы увидеть специфику распределения «сырых» значений;
3. векторизация с помощью модели из семейства SentenceTransformer и последующая кластеризация кратких пересказов содержания текстов, данных информантами (для каждого теста в отдельности). Цель данной операции – сравнить конфигурации распределения по кластерам для написанных и сгенерированных текстов.

При обработке результатов мы пользовались стандартными функциями Excel для вычисления средних значений и стандартного отклонения для значений, отмеченных информантами по шкалам, для подсчета характеристик лингвистической сложности текстов использовалась библиотека ruTS^[8]. Для кластеризации использовался пакет cluster из библиотеки sklearn, для анализа качества кластеров – пакет metrics из той же библиотеки.

5. Результаты

При ответе на вопрос 1.1 о соответствии названия текста дальнейшему сюжету, информанты выше всего оценили текст № 2 (естественный) – среднее значение 3.2 (таблица 5), наибольшее количество оценок поместилось в интервале от 2,5 до 4,5 (Рисунок 1). Автор назвал свой текст «The Magical Friendship of Liza Turpin».

Интересно, что особое положение среди естественных текстов занимает текст № 4 (Рисунок 1). Для этого текста получено самое низкое среднее значение (1,2 – таблица 5, п. 1.1) по тому же критерию при наименьшем стандартном отклонении (0,9 – таблица 5, п. 1.1). Среди сгенерированных текстов наибольшее среднее значение для вопроса 1.1 имеет текст № 6. Тем не менее, диаграмма (Рисунок 1) демонстрирует, что «скрипка» для текста № 6 имеет очень вытянутую форму, что говорит о наличии совершенно разных мнений у информантов, а небольшое утолщение наблюдаем в районе единицы – в данной зоне присутствует скопление ответов.

Table 5. Mean values and standard deviation in the category «Coherence»

У текста № 3 также видим скопление оценок в зоне 1 и менее значительное – в зоне 4. Текст № 5 имеет наибольшее количество оценок в зоне 1.

Figure 1. Distribution of values for question 1.1. in the category «Coherence»

Оценивая связь названий глав и подглав с содержанием текста (п.1.2), информанты вновь отдали предпочтение естественному тексту № 2, но другие два естественных текста, 4 и 1, оказались оценены по данному критерию низко (текст 1 в диапазоне 1–3, текст 4 в диапазоне 2–3) (Рисунок 2). При этом оценки сгенерированных текстов по данному параметру имеют наименьшее в выборке стандартное отклонение (таблица 4) и сконцентрированы для текстов 6 и 5 в верхней части шкалы (Рисунок 2).

Figure 2. Distribution of values for question 1.2. in the category «Coherence»

Оценивая в целом силу связи между всеми элементами художественного текста, информанты по-прежнему высоко оценили естественный текст № 2, по средним значениям (таблица 3) за ним следуют тексты № 4 и № 1 (все три относятся к категории естественных), но сгенерированный текст № 5 имеет наибольшее скопление оценок в интервале от 3 до 4 (Рисунок 3), поэтому он по данному критерию, в общем, близок к тексту № 4.

Figure 3. Distribution of values for question 1.3. in the category «Coherence»

Оценивая степень выраженности в тексте единой идеи, информанты выше всего оценили естественные тексты 2, 4

и 1 – это заметно как по средним значениям (таблица 3), так и по общему распределению значений (см. «скрипки» на Рисунке 4).

Figure 4. Distribution of values for question 1.4. in the category «Coherence»

По шкале смысловой связности
(п. 2.1) наибольшие средние значения имеют тексты № 2 и № 1 из числа естественных, и текст № 6 – из числа сгенерированных (таблица 6).

Table 6. Mean values and standard deviation in the categories “Semantic cohesion”, “Lexico-grammatical cohesion”, “Rhythm”, “Doubt”, “Emotionality”, “Syntax”

Однако если посмотреть на распределение “сырых” значений, текст № 6 окажется только на четвертом месте, после естественных текстов 1, 2, 4, поскольку вытянутая форма “скрипки” говорит о присутствии полярных оценок и общей высокой несогласованности оценок (Рисунок 5).

Figure 5. Distribution of values for question 2.1. in the category “Semantic cohesion”

В задании 2.2. мы просили информантов пересказать текст в 10-ти предложениях. Соблюсти указанный объем высказывания удалось не всем. Наша гипотеза состояла в том, что если мы векторизуем тексты, а затем кластеризуем их, то пересказы более связных текстов с большей вероятностью попадут в один кластер.

Для построения подобной гипотезы у нас было несколько оснований. Согласно теории построения ментальных моделей (Johnson‑Laird, 1983) связный текст требует меньше усилий для удержания в рабочей памяти, поэтому его легче пересказывать. В частности, это происходит потому, что риторическая структура (Mann and Thompson, 1988) задает явные логические связи между частями текста. При пересказе эти связи выступают как жесткие «дискурсивные якори», заставляя разных людей воспроизводить одни и те же смысловые паттерны. Напротив, в несвязном тексте глобальная когеренция (Graesser et al., 1994) ослаблена: слушатель вынужден самостоятельно достраивать пропущенные отношения, и каждый делает это по‑своему.

Для векторизации использовалась модель семейства SentenceTransformer all-MiniLM-L12-v2^[9].

На рисунке 6 представлен результат кластеризации методом k-means на основе косинусного расстояния между векторами текстов (значение perplexity = 50, поскольку набор данных был небольшим). Для визуализации использовался также метод снижения размерности векторов t-SNE. Результаты кластеризации были перепроверены с помощью метода Уорда. Использованный нами метод Уорда (Ward’s linkage) является стандартным подходом в иерархической кластеризации для задач, где важна компактность кластеров. В отличие от методов одиночной связи, которые склонны к «эффекту цепочки», или полной связи, чувствительной к выбросам, метод Уорда минимизирует внутрикластерную дисперсию и дает более интерпретируемые результаты на выборках малого объема. В обоих случаях посчитаны метрики чистоты кластера (доля пересказов, попавших в “свой” кластер – чем выше процент, тем лучше), его компактности (среднее расстояние эмбеддинга текста до центроида класса – чем ниже значение, тем лучше) и отдельности от других кластеров (коэффициент силуэта – чем выше значение, тем более отдельный кластер).

Table 7. Clustering quality metrics for Ward’s method and k-means

По данным таблицы (табл. 7) мы видим, что кластеров с точностью 100 % (метрика “чистота” (Purity)) при использовании обоих методов кластеризации два – это кластер пересказов текста № 6 и кластер пересказов текста № 4. Наименьшее среднее расстояние до центроида своего кластера демонстрируют (в порядке ухудшения результатов) тексты 2 (естественный), 4 (естественный) и 6 (сгенерированный). Значения коэффициента силуэта обнаруживают зависимость от количества объектов кластеризации (чем меньше объектов, тем нижезначение коэффициента), поэтому их обсуждение пока не релевантно. Значения, зафиксированные в таблице, демонстрируют, что метрики практически не зависят от способа кластеризации.

Figure 6. Clusters of text retellings

Приведем примеры пересказов текстов № 2 и № 6:

1. Текст № 2: Лиза Турпин живет о своей матерью, которая называет себя ведьмой. Про отца она знает только из ее рассказов, он с ними не живет. Лиза получает письмо из школы Хогвартс, про которую до этого никогда не слышала. Мать радуется, что девочка будем изучать магию там. Они собирают все необходимое для школы, но они бедны, поэтому ищут вещи не в Косой аллее, а в других магловских магазинах. В Хогвартсе девочку распределяют на факультет Когтевран. В школе ей приходится нелегко, но она старается. Лиза изучает разные предметы. Ей сложно завести дружбу с другими учениками. Но в конце она решает, что Теодор, Сьюзан, Дафна и Невилл были бы хорошими друзьями для нее.
2. Текст №6: Теодор Нотт – мальчик с почти что синдромом отличника и чувством долга перед семьей. Панси Паркинсон – другая миссис перфект с таким же распланированным будущим. они не общаются какое-то время, но после начинают сближаться. узнают, что у них, так же как и у их семей, есть много общего и загадочного. они влюбляются друг в друга и решают создать в конце совместное будущее. конец.

Для сравнения рассмотрим пересказ естественного текста № 3 от одного из информантов:

1. Текст № 3: Сначала Гарри получает письмо в Хогвартс, но в следующей главе он уже женат на Джинни и у него есть дети. Потом он опять школьник и в Министерстве магии вместе с Гермионой и Роном ищут пророчество, потом они уже в Годриковой впадине, потом у Лавгудов, потом опять какие-то приключения. Потом они предупреждают Авроров в Министерстве о Пожирателях смерти. Затем снова куча неразберихи и приключений. Герои пересекаются с многими другими персонажами. В конце концов Гарри работает профессором в Хогвартсе, Гермиона – Аврор, а у Рона паб в Лондоне.

Можно увидеть, что пересказы текстов 2 и 6 сближает то, что информантам удается не только связать прочитанное в единый сюжет, но и определить причинно-следственные связи (они бедны, поэтому ищут вещи не в Косой аллее, а в других магловских магазинах), сформировать «образ прошлого» (Про отца она знает только из ее рассказов, он с ними не живет; у их семей много общего и загадочного) и «образ будущего» героев ( и решают создать в конце совместное будущее). В пересказе текста № 3, имеющего худшие значения чистоты и компактности, наблюдается лишь попытка зафиксировать сюжет как цепочку событий, соединяя их посредством самого распространенного маркера последовательности потом.

Что касается лексико-грамматической связности, то лидерами как по средним значениям (таблица 4), так и по интервалам распределения значений (Рисунок 7) стали тексты 4, 2, 1 – все из категории написанных людьми. У сгенерированного текста № 6 наблюдаем наибольшее скопление оценок в зоне 3-х.

Figure 7. Distribution of values for question 3.1. in the category “Lexico-grammatical cohesion”

Аналогичное распределение «лидеров» по средним значениям оценки наблюдаем и в категориях «Ритм», «Субъективная модальность сомнения».

Однако по шкале эмоциональности информанты оценили текст № 6 достаточно высоко, что позволило ему выйти на третье место (таблица 6) – среднее значение по шкале эмоциональности – 3,5.

По шкале синтаксической сложности текст № 6 имеет самые высокие средние значения оценки (среднее значение=3,9), а распределение “сырых” значений тяготеет к верхней части шкалы. Интересно то, что при этом на втором и третьем местах по параметру синтаксической сложности оказались естественные тексты № 2 и № 4 (Рисунок 8).

Синтаксическая канва текста № 6, действительно, содержит причастные обороты (dedicated to joint endeavors, пр.4), обособленные конструкции (their disparate focal points notwithstanding, пр.4), перечисления (collaborative research initiatives, interdepartmental taskforces tackling complex threats etc.) и т.д., например:

1. Their disparate focal points notwithstanding, threads of convergence emerged as they pored over adjacent segments dedicated to joint endeavors: collaborative research initiatives, interdepartmental taskforces tackling complex threats, and even fledgling organizations founded by enterprising alumni addressing pressing issues plaguing the wizarding realm.

Figure 8. Distribution of values for question 7.1. in the category “Syntax”

Рассмотрим оценки текстов по параметру выразительности.

Таблица 7. Средние значения и стандартное отклонение в категории «Выразительность»

Table 7. Mean values and standard deviation in the category “Expressiveness”

По количеству идиоматических выражений сгенерированный текст № 6 незначительно уступает трем написанным текстам (Рисунок 9, Таблица 7). На диаграмме (Рисунок 9) видно, что при сопоставимом с естественными текстами среднем значении, тем не менее, значительное скопление не усредненных оценок для текста № 6 наблюдаем в районе 4-х.

Figure 9. Distribution of values for question 8.1. in the category “Expressiveness”

Такая достаточно высокая оценка не случайна – в тексте находим более 100 идиоматических выражений, например: walking on eggshells ‘вести себя крайне осторожно в деликатной ситуации’, walking a tightrope ‘балансировать в сложной ситуации’, read between the lines ‘видеть скрытые смыслы’, burn bridges ‘разорвать всякие отношения’, skeletons in the closet ‘семейные тайны’ и т.д.

По наличию же так называемых «Сильных позиций» по средним значениям текст № 6 оказался на второй позиции после естественного текста № 4, а по общему распределению не усредненных значений – на первой (Рисунок 10), поскольку демонстрирует незначительное «утолщение» в зоне 4-х, а максимальные значения приближаются к 5.

Figure 10. Distribution of values for question 8.2. in the category “Expressiveness”

Действительно, в тексте № 6, например, в финале истории (пр.5) можем наблюдать, как усиливается эмоциональное напряжение героев, при этом в тексте концентрируются метафоры (McGonagall’s melodious voice ushered in an era of transformation; conversations mushroomed; parallel fascinations ignited Pansy’s enthusiasm;recalibrating his internal ledger of favors owed and debts outstanding; timely investments in influential relationships etc.) и метафорические сравнения (fanning out like tender shoots bursting forth from fertile soil), что производит конвергентный эффект и усиливает производимое на читателя впечатление:

(5) Moments later, McGonagall’s melodious voice ushered in an era of transformation, announcing the commencement of specialized coursework catering to individual strengths. Conversations mushroomed, exploring the vast spectrum of electives and concentrations unveiled before them. Theo listened intently, his pulse quickening as Ancient Runes and Archaeological Magic topped his list of preferred subjects. Parallel fascinations ignited Pansy’s enthusiasm, her affinity for Curse-Breaking and Dark Arts Countermeasures aligning harmoniously with his own pursuits.

Through the cacophony of congratulatory cheers and sympathetic condolences, Blaise Zabini maintained a calculated distance, monitoring shifting allegiances and recalibrating his internal ledger of favors owed and debts outstanding. He knew full well that timely investments in influential relationships often proved decisive in securing advantageous positions within the wizarding hierarchy.

Nearby, Ron Weasley pumped Hermione’s hand aloft, basking in the glory of her triumphant entry into elite Magical Law Enforcement internship programs. Michael Corner chuckled knowingly, attributing her success to razor-sharp intellect and diligent preparation. Friendship warmed the atmosphere, reinforcing bonds tested by communal struggles and victories.

Discreetly withdrawing from the melee, Theo and Pansy commandeered a vacant study area, immersing themselves in meticulous analyses of recommended curricula. Visions of interdisciplinary collaboration sprouted, fanning out like tender shoots bursting forth from fertile soil. Convergent paths merged seamlessly, forecasting trail-blazing innovations primed to revolutionize the wizarding community.

Figure 11. Distribution of values for question 8.3. in the category “Expressiveness”