2313-8912Научный результат. Вопросы теоретической и прикладной лингвистики2313-891210.18413/2313-8912-2026-12-2-0-44248СОПОСТАВИТЕЛЬНОЕ ЯЗЫКОЗНАНИЕ<strong>Потенциал и ограничения ChatGPT: анализ качества перевода и переводческих ошибок больших языковых моделей</strong><strong>Assessing promise and limitations of </strong><strong>ChatGPT: analysis of translation quality and translation errors of large language models </strong>МоисееваИрина ЮрьевнаMoiseyevaIrina Yuryevnaromfil@mail.osu.ruРелишскийАлександр ИльичRelishskyAleksandr Ilyichromfil@mail.osu.ruИнститут языков и культур, Оренбургский государственный университет имени В. А. Бондаренко, Оренбург, Россия202612200

В условиях быстрого развития технологий обработки естественного языка и увеличения использования автоматизированных инструментов в переводческой деятельности, важно исследовать возможности и ограничения больших языковых моделей, таких как ChatGPT, в переводе текстов различных стилистических форм и тематической направленности. Существует необходимость в сравнительном анализе качества автоматического перевода, выполненного с помощью ChatGPT, особенно в контексте различных типов текстов (специализированные, художественные, научные) и их стилистических особенностей. В данной связи важным является понимание ошибок, связанных с определением контекста и возможными &laquo;галлюцинациями&raquo; модели. В представленном исследовании на основании сравнительного анализа выявлены критерии работы ChatGPT, а именно: потенциал в определении контекста, коммуникативной ситуации, решение определенных переводческих задач на уровне стилистических соответствий и лексической эквивалентности. В исследовании представлены результаты оценки качества автоматического перевода как метрикой, основанной на лингвистических параметрах, так и автоматической метрической системой BLEU. Результаты проведенного исследования показывают определенную зависимость качества автоматического перевода от точности формулировки запроса и характера текста. Так, показатели лингвистической метрики оценки качества перевода и показатели системы BLEU свидетельствуют о том, что качество перевода текстов, характеризующихся высоким содержанием специализированной лексики выше, чем качество перевода художественного или научного текста, требующего особого подхода при построении высказываний или выбора терминов в рамках узуальной распространенности. Кроме того, результаты также свидетельствуют и о таких свойствах больших языковых моделей генеративного искусственного интеллекта, как ошибочность определения контекста и &laquo;галлюцинациях&raquo;, которые могут ввести в заблуждение и привести к ошибкам при переводе или редактировании текстов. В статье предлагаются необходимые практические приемы, позволяющие переводчику грамотно использовать технологию нейронных сетей, а именно последние версии инновационного чат-бота ChatGPT в различных аспектах деятельности.

The rapid advancement of natural language processing (NLP) technologies and the increasing integration of automated tools into translation workflows necessitate a comprehensive exploration of the capabilities and constraints of large language models (LLMs), such as ChatGPT, across various stylistic domains and thematic areas. This study addresses the need for a comparative analysis of machine translation quality produced by ChatGPT, specifically focusing on specialized, literary, and scientific discourses. Central to this research is the identification of errors associated with contextual misinterpretation and the phenomenon of model &quot;hallucinations.&quot; Based on a comparative framework, the research delineates the operational parameters of ChatGPT, including its potential for context recognition, communicative situational awareness, and the resolution of specific translation challenges at the levels of stylistic congruence and lexical equivalence. This research employs a&nbsp;hybrid evaluation framework&nbsp;that integrates a linguistically-grounded metric with the automated&nbsp;BLEU scoring system. The findings reveal a&nbsp;significant correlation&nbsp;between translation quality, prompt precision, and the&nbsp;typological characteristics&nbsp;of the source text. Both linguistic and automated metrics indicate that translations of highly specialized technical content exhibit higher accuracy than those of literary or scientific texts, which require nuanced syntactic construction and terminological selection within specific linguistic conventions. Furthermore, the results highlight inherent risks of generative AI, such as semantic distortions and contextual errors, which can compromise the integrity of translated or edited content. The paper concludes by proposing practical strategies and prompt engineering techniques to enable translators to effectively leverage innovative neural network technologies, particularly the latest iterations of ChatGPT, in professional practice.

Теория переводаПрофессиональный переводМашинный переводАвтоматический переводНейронные сетиИскусственный интеллектChatGPTTranslation theoryProfessional translationMachine translationAutomatic translationNeural network (machine learning)Artificial intelligenceChatGPTСписок литературыАветесян&nbsp;К.&nbsp;И. Метод обнаружения межъязыковых заимствований в текстах: Автореф. дис. ... канд. тех. наук. Москва, 2023. 26 с.Биктимиров&nbsp;А.&nbsp;Р. Программа преобразования речи в текст как эффективный инструмент письменного перевода: Автореф. дис. ... канд. филол. наук. Москва, 2023. 24 с.Блумфилд&nbsp;Л. Язык. М.: Прогресс, 1968. 607 с.Ефимова&nbsp;О.&nbsp;В. Фундаментальные основы современного машинного перевода в свете общей теории переводческой деятельности: Материалы Междунар. науч.-практ. конф. 29.04. 2017 г. / редкол. О.&nbsp;Н.&nbsp;Широков [и др.]. Чебоксары: Центр научного сотрудничества &laquo;Интерактив плюс&raquo;, 2017. С. 205-212.Зайцев&nbsp;Д.&nbsp;В. Почему большие языковые модели не (всегда) рассуждают как люди? // Вестник Московского университета. Серия 7. Философия. 2024. Т. 48. № 1. С. 76&ndash;93.Ломов&nbsp;П.&nbsp;А. Использование онтологий для контекстуализации запросов к большим языковым моделям // Онтология проектирования. 2025. Том 15. №2(56). С.&nbsp;239&ndash;248. DOI: 10.18287/2223-9537-2025-15-2-239-248Лю&nbsp;М., Шао&nbsp;Ц., Се&nbsp;Г. Автоматизированный перевод политического дискурса: от больших языковых моделей к мультиагентной системе MAGIC-PTF // Litera. 2024. № 11. С.&nbsp;28&ndash;46. DOI: 10.25136/2409-8698.2024.11.72197Лях&nbsp;А.&nbsp;П. Классификация и основные алгоритмы эмбендинга в контексте больших языковых моделей // Ученые заметки ТОГУ. 2024. Том 15. №3. С. 79&ndash;83.Розенцвейг&nbsp;В.&nbsp;Ю. Опыт лингвистического описания лексико-семантических ошибок в речи на неродном языке. Москва : [б. и.], 1974. 46 с.Сущин&nbsp;М.&nbsp;А. CHATGPT и другие интеллектуальные помощники современного ученого // Науковедческие исследования. 2024. №2. С. 5-20. DOI: 10.31249/scis/2024.02.01Тюрина&nbsp;Д.&nbsp;А., Пальмов&nbsp;С.&nbsp;В. Применение нейронных сетей в обработке естественного языка // Журнал прикладных исследований. 2023. №7. С. 158-162. DOI 10.47576/2949-1878_2023_7_158Якобсон&nbsp;Р., Халле&nbsp;М. Фонология и её отношение к фонетике // Новое в лингвистике. 1962. Вып. II. С. 231&ndash;278.Al&nbsp;Rousan&nbsp;R., Jaradat&nbsp;R.&nbsp;S., Malkawi&nbsp;M. ChatGPT translation vs. human translation: an examination of a literary text // Cogent Social Sciences. 2025. Volume 11&nbsp;(1). https://doi.org/10.1080/23311886.2025.2472916Bang&nbsp;Y. A Multitask, multilingual, multimodal evaluation of CHATGPT on reasoning, hallucination, and interactivity / Y.&nbsp;Bang, S.&nbsp;Cahyawijaya, N.&nbsp;Lee, W.&nbsp;Dai, D.&nbsp;Su, B.&nbsp;Wilie, H.&nbsp;Lovenia, Z.&nbsp;Ji, T.&nbsp;Yu, W.&nbsp;Chung, Q.&nbsp;V.&nbsp;Do, Y.&nbsp;Xu, P.&nbsp;Fung // Arxiv preprint. 2023. https://doi.org/10.48550/arXiv.2302.04023Bar-Hillel&nbsp;Yehoshua.&nbsp;Some Linguistic Problems Connected With Machine Translation // Philosophy of Science.&nbsp;1953.&nbsp;Volume 20&nbsp;(3). Pp. 217&ndash;225.Bentivogli&nbsp;L., Cettolo&nbsp;M., Federico&nbsp;M., Federmann&nbsp;C. Machine Translation Human Evaluation: an investigation of evaluation based on Post-Editing and its relation with Direct Assessment // Proceedings of IWSLT. 2018. Pp. 62&ndash;69.Brown&nbsp;P.&nbsp;F. The Mathematics of Statistical Machine Translation: Parameter Estimation / P.&nbsp;F.&nbsp;Brown, S.&nbsp;A.&nbsp;Della&nbsp;Pietra, V.&nbsp;J.&nbsp;Della&nbsp;Pietra, R.&nbsp;L.&nbsp;Mercer // Computational Linguistics. 1993. Volume 19. Pp. 263&ndash;311.Bubeck&nbsp;S. Sparks of artificial general intelligence: Early experiments with Gpt-4 / S.&nbsp;Bubeck, V.&nbsp;Chandrasekaran, R.&nbsp;Eldan, J.&nbsp;Gehrke, E.&nbsp;Horvitz, E.&nbsp;Kamar, P.&nbsp;Lee, Y.&nbsp;T.&nbsp;Lee, Y.&nbsp;Li, S.&nbsp;Lundberg, H.&nbsp;Nori, H.&nbsp;Palangi, M.&nbsp;T.&nbsp;Ribeiro, Y.&nbsp;Zhang // Arxiv preprint. 2023. https://doi.org/10.48550/arXiv.2303.12712Chomsky&nbsp;N. Rules and Representations. 1980. New York: Columbia University Press. 299&nbsp;p.Dynel&nbsp;M. Lessons in linguistics with ChatGPT: Metapragmatics, metacommunication, metadiscourse and metalanguage in human-AI interactions // Language &amp; Communication. 2023. Volume 93. Pp. 107-124. https://doi.org/10.1016/j.langcom.2023.09.002Jones&nbsp;D. The Pronunciation of English. Cambridge: CUP, 1909. 185 p.Hendy&nbsp;Amr. How Good Are GPT Models at Machine Translation? A Comprehensive Evaluation / Amr.&nbsp;Hendy, M.&nbsp;Abdelrehim, Amr.&nbsp;Sharaf, V.&nbsp;Raunak, M.&nbsp;Gabr, H.&nbsp;Matsushita, Y.&nbsp;J.&nbsp;Kim, M.&nbsp;Afify, H.&nbsp;H.&nbsp;Awadalla // Arxiv&nbsp;preprint. 2023. https://doi.org/10.48550/arXiv.2302.09210Hutchins&nbsp;J. Retrospect and prospect in computer-based translation // Proceedings of Machine Translation Summit. 1999. Volume VII, Pp. 30&ndash;36.Kade&nbsp;O. Zufall und Gesetzm&auml;ssigkeit in der &Uuml;bersetzung. Leipzig VEB Verlag Enzyklop&auml;die, 1968. 128 p.Lai&nbsp;V.&nbsp;D. ChatGPT beyond English: Towards a сomprehensive evaluation of large language models in multilingual learning / V.&nbsp;D.&nbsp;Lai, N.&nbsp;T.&nbsp;Ngo, A.&nbsp;P.&nbsp;B.&nbsp;Veyseh, H.&nbsp;Man, F.&nbsp;Dernoncourt, T.&nbsp;Bui, T.&nbsp;H.&nbsp;Nguyen // Arxiv preprint. 2023. https://doi.org/10.48550/arXiv.2304.05613Nababan&nbsp;M., Nuraeni&nbsp;A., Sumardiono&nbsp;S. Pengembangan Model Penilaian Kualitas Terjemahan // Kajian Linguistik Dan Sastra. 2012. Volume 24&nbsp;(1). Pp. 39&ndash;57. https://doi.org/10.23917/KLS.V24I1.101Nagao&nbsp;М. Machine Translation. Oxford: Oxford University Press, 1989. 150 p.Ouyang&nbsp;F. Making strides towards AI-supported regulation of learning in collaborative knowledge construction / F.&nbsp;Ouyang, M.&nbsp;Wu, L.&nbsp;Zhang, W.&nbsp;Xu, L.&nbsp;Zheng, M.&nbsp;Cukurova // Computers in Human Behavior. 2023. Volume 142. https://doi.org/10.1016/j.chb.2023.107650Peng&nbsp;K. Towards Making the Most of ChatGPT for Machine Translation / K&nbsp;Peng, L.&nbsp;Ding, Q.&nbsp;Zhong, Li Shen, X.&nbsp;Liu, M.&nbsp;Zhang, Y.&nbsp;Ouyang, D.&nbsp;Tao // Arxiv preprint. 2023. https://arxiv.org/pdf/2303.13780v3Siu&nbsp;Sai&nbsp;Cheong. ChatGPT and GPT-4 for Professional Translators: Exploring the Potential of Large Language Models in Translation // SSRN Electronic Journal. 2023. http://dx.doi.org/10.2139/ssrn.4448091Vaswani&nbsp;A. Attention Is All You Need / A.&nbsp;Vaswani, N.&nbsp;Shazeer, N.&nbsp;Parmar, J.&nbsp;Uszkoreit, L.&nbsp;Jones, A.&nbsp;N.&nbsp;Gomez, L.&nbsp;Kaiser, I.&nbsp;Polosukhin // Arxiv preprint. 2017. Volume 30. https://doi.org/10.48550/ARXIV.1706.03762Wang&nbsp;L. Document-level machine translation with large language models&nbsp;/&nbsp;L.&nbsp;Wang, Ch.&nbsp;Lyu, T.&nbsp;Ji, Zh.&nbsp;Zhang, D.&nbsp;Yu, Sh.&nbsp;Shi, Zh.&nbsp;Tu // Arxiv preprint. 2023. Pp. 16646&ndash;16661. https://arxiv.org/pdf/2304.02210Wu&nbsp;H. ChatGPT or Grammarly? Evaluating ChatGPT on grammatical error correction benchmark / H.&nbsp;Wu, W.&nbsp;Wang, Y.&nbsp;Wan, W.&nbsp;Jiao, M.&nbsp;R.&nbsp;Lyu // Arxiv preprint. 2023. https://arxiv.org/pdf/2303.13648Zhou&nbsp;D. Chain of Thought Prompting Elicits Reasoning in Large Language Models / D.&nbsp;Zhou, J.&nbsp;Wei, X.&nbsp;Wang, D.&nbsp;Schuurmans, M.&nbsp;Bosma, Ed.&nbsp;Chi, Q.&nbsp;Le // Arxiv preprint. 2022. Volume 3. https://arxiv.org/abs/2201.11903