16+
DOI: 10.18413/2313-8912-2026-12-3-0-1

Когда естественный текст выглядит искусственным: воспринимаемое ИИ-происхождение как свойство текста

Текст может восприниматься как созданный искусственным интеллектом, даже если на самом деле его написал человек; и наоборот, текст, сгенерированный ИИ, может казаться «человеческим». Мы исследовали разрыв между реальным происхождением текста и его воспринимаемым ИИ-происхождением на материале 28 текстов на русском языке (14 написанных людьми и 14 ИИ-сгенерированных), которые оценивали профессиональные лингвисты в рамках трёх разных режимах оценки. Каждый текст был представлен в признаковом пространстве 46 семантических показателей, полученных на основе эмбеддингов, и 12 стилометрических индексов. В третьем эксперименте тексты дополнительно оценивались по 13 перцептивным шкалам до того, как респонденты выносили суждение о происхождении текста.

Тексты, написанные людьми и сгенерированные ИИ, хорошо разделялись как в семантическом, так и в стилометрическом пространстве построенной нами модели. Многомерный анализ показал значительные различия между человеческими и ИИ-текстами (|g| Хеджеса ≈ 1,4), а вложенные ridge-модели с проверкой по схеме leave-one-text-out достигали AUC от 0,832 до 0,878. Однако объективные лингвистические показатели, различавшие тексты по реальному происхождению, не объясняли независимо вероятность отнесения лингвистом текста к ИИ. Кроме того, вес отдельных признаков менялся в зависимости от эксперимента. Для семи признаков были обнаружены значимые после FDR-коррекции взаимодействия «режим × признак» между экспериментами 2 и 3, причём во всех случаях направление связи менялось на противоположное. Средняя длина слова дополнительно меняла направление связи между первым и вторым экспериментом. В третьем эксперименте структура перцептивных оценок в основном определялась одной осью, противопоставляющей авторское присутствие и схематическую обобщённость. Смещение к полюсу авторского присутствия резко снижало вероятность отнесения текста к ИИ по пятибалльной шкале (OR = 0,228; 95% ДИ [0,145; 0,359]; p < 0,001).

Таким образом, воспринимаемое ИИ-происхождение текстов нельзя рассматривать ни как отражение реального авторства, ни как отражение объективного лингвистического сигнала происхождения текста. В наших экспериментах оно проявлялось как перцептивное свойство и было связано с тем, возникает ли у читателя ощущение конкретного, стоящего за текстом автора, тогда как лингвистические признаки, объективно связанные с происхождением текста, зависели от условий эксперимента. Данное различие важно, поскольку предполагаемое ИИ-авторство может влиять на степень доверия читателя к тексту, его воспринимаемую достоверность и последующую оценку текста даже в тех случаях, когда суждение об источнике происхождения текста ошибочно.

Количество просмотров: 208 (смотреть статистику)
Количество скачиваний: 301
Полный текст (HTML)Полный текст (PDF)Скачать XMLК списку статей
  • Комментарии
  • Список литературы
  • Благодарности

Пока никто не оставил комментариев к этой публикации.
Вы можете быть первым.

Оставить комментарий: