Потенциал и ограничения ChatGPT: анализ качества перевода и переводческих ошибок больших языковых моделей
В условиях быстрого развития технологий обработки естественного языка и увеличения использования автоматизированных инструментов в переводческой деятельности, важно исследовать возможности и ограничения больших языковых моделей, таких как ChatGPT, в переводе текстов различных стилистических форм и тематической направленности. Существует необходимость в сравнительном анализе качества автоматического перевода, выполненного с помощью ChatGPT, особенно в контексте различных типов текстов (специализированные, художественные, научные) и их стилистических особенностей. В данной связи важным является понимание ошибок, связанных с определением контекста и возможными «галлюцинациями» модели.
В представленном исследовании на основании сравнительного анализа выявлены критерии работы ChatGPT, а именно: потенциал в определении контекста, коммуникативной ситуации, решение определенных переводческих задач на уровне стилистических соответствий и лексической эквивалентности. В исследовании представлены результаты оценки качества автоматического перевода как метрикой, основанной на лингвистических параметрах, так и автоматической метрической системой BLEU. Результаты проведенного исследования показывают определенную зависимость качества автоматического перевода от точности формулировки запроса и характера текста. Так, показатели лингвистической метрики оценки качества перевода и показатели системы BLEU свидетельствуют о том, что качество перевода текстов, характеризующихся высоким содержанием специализированной лексики выше, чем качество перевода художественного или научного текста, требующего особого подхода при построении высказываний или выбора терминов в рамках узуальной распространенности. Кроме того, результаты также свидетельствуют и о таких свойствах больших языковых моделей генеративного искусственного интеллекта, как ошибочность определения контекста и «галлюцинациях», которые могут ввести в заблуждение и привести к ошибкам при переводе или редактировании текстов. В статье предлагаются необходимые практические приемы, позволяющие переводчику грамотно использовать технологию нейронных сетей, а именно последние версии инновационного чат-бота ChatGPT в различных аспектах деятельности.
Иллюстрации
Моисеева И. Ю., Релишский А. И. Потенциал и ограничения ChatGPT: анализ качества перевода и переводческих ошибок больших языковых моделей // Научный результат. Вопросы теоретической и прикладной лингвистики. 2026. Т. 12. № 2. C. 84–110.
Пока никто не оставил комментариев к этой публикации.
Вы можете быть первым.
Аветесян К. И. Метод обнаружения межъязыковых заимствований в текстах: Автореф. дис. ... канд. тех. наук. Москва, 2023. 26 с.
Биктимиров А. Р. Программа преобразования речи в текст как эффективный инструмент письменного перевода: Автореф. дис. ... канд. филол. наук. Москва, 2023. 24 с.
Блумфилд Л. Язык. М.: Прогресс, 1968. 607 с.
Ефимова О. В. Фундаментальные основы современного машинного перевода в свете общей теории переводческой деятельности: Материалы Междунар. науч.-практ. конф. 29.04. 2017 г. / редкол. О. Н. Широков [и др.]. Чебоксары: Центр научного сотрудничества «Интерактив плюс», 2017. С. 205-212.
Зайцев Д. В. Почему большие языковые модели не (всегда) рассуждают как люди? // Вестник Московского университета. Серия 7. Философия. 2024. Т. 48. № 1. С. 76–93.
Ломов П. А. Использование онтологий для контекстуализации запросов к большим языковым моделям // Онтология проектирования. 2025. Том 15. №2(56). С. 239–248. DOI: 10.18287/2223-9537-2025-15-2-239-248
Лю М., Шао Ц., Се Г. Автоматизированный перевод политического дискурса: от больших языковых моделей к мультиагентной системе MAGIC-PTF // Litera. 2024. № 11. С. 28–46. DOI: 10.25136/2409-8698.2024.11.72197
Лях А. П. Классификация и основные алгоритмы эмбендинга в контексте больших языковых моделей // Ученые заметки ТОГУ. 2024. Том 15. №3. С. 79–83.
Розенцвейг В. Ю. Опыт лингвистического описания лексико-семантических ошибок в речи на неродном языке. Москва : [б. и.], 1974. 46 с.
Сущин М. А. CHATGPT и другие интеллектуальные помощники современного ученого // Науковедческие исследования. 2024. №2. С. 5-20. DOI: 10.31249/scis/2024.02.01
Тюрина Д. А., Пальмов С. В. Применение нейронных сетей в обработке естественного языка // Журнал прикладных исследований. 2023. №7. С. 158-162. DOI 10.47576/2949-1878_2023_7_158
Якобсон Р., Халле М. Фонология и её отношение к фонетике // Новое в лингвистике. 1962. Вып. II. С. 231–278.
Al Rousan R., Jaradat R. S., Malkawi M. ChatGPT translation vs. human translation: an examination of a literary text // Cogent Social Sciences. 2025. Volume 11 (1). https://doi.org/10.1080/23311886.2025.2472916
Bang Y. A Multitask, multilingual, multimodal evaluation of CHATGPT on reasoning, hallucination, and interactivity / Y. Bang, S. Cahyawijaya, N. Lee, W. Dai, D. Su, B. Wilie, H. Lovenia, Z. Ji, T. Yu, W. Chung, Q. V. Do, Y. Xu, P. Fung // Arxiv preprint. 2023. https://doi.org/10.48550/arXiv.2302.04023
Bar-Hillel Yehoshua. Some Linguistic Problems Connected With Machine Translation // Philosophy of Science. 1953. Volume 20 (3). Pp. 217–225.
Bentivogli L., Cettolo M., Federico M., Federmann C. Machine Translation Human Evaluation: an investigation of evaluation based on Post-Editing and its relation with Direct Assessment // Proceedings of IWSLT. 2018. Pp. 62–69.
Brown P. F. The Mathematics of Statistical Machine Translation: Parameter Estimation / P. F. Brown, S. A. Della Pietra, V. J. Della Pietra, R. L. Mercer // Computational Linguistics. 1993. Volume 19. Pp. 263–311.
Bubeck S. Sparks of artificial general intelligence: Early experiments with Gpt-4 / S. Bubeck, V. Chandrasekaran, R. Eldan, J. Gehrke, E. Horvitz, E. Kamar, P. Lee, Y. T. Lee, Y. Li, S. Lundberg, H. Nori, H. Palangi, M. T. Ribeiro, Y. Zhang // Arxiv preprint. 2023. https://doi.org/10.48550/arXiv.2303.12712
Chomsky N. Rules and Representations. 1980. New York: Columbia University Press. 299 p.
Dynel M. Lessons in linguistics with ChatGPT: Metapragmatics, metacommunication, metadiscourse and metalanguage in human-AI interactions // Language & Communication. 2023. Volume 93. Pp. 107-124. https://doi.org/10.1016/j.langcom.2023.09.002
Jones D. The Pronunciation of English. Cambridge: CUP, 1909. 185 p.
Hendy Amr. How Good Are GPT Models at Machine Translation? A Comprehensive Evaluation / Amr. Hendy, M. Abdelrehim, Amr. Sharaf, V. Raunak, M. Gabr, H. Matsushita, Y. J. Kim, M. Afify, H. H. Awadalla // Arxiv preprint. 2023. https://doi.org/10.48550/arXiv.2302.09210
Hutchins J. Retrospect and prospect in computer-based translation // Proceedings of Machine Translation Summit. 1999. Volume VII, Pp. 30–36.
Kade O. Zufall und Gesetzmässigkeit in der Übersetzung. Leipzig VEB Verlag Enzyklopädie, 1968. 128 p.
Lai V. D. ChatGPT beyond English: Towards a сomprehensive evaluation of large language models in multilingual learning / V. D. Lai, N. T. Ngo, A. P. B. Veyseh, H. Man, F. Dernoncourt, T. Bui, T. H. Nguyen // Arxiv preprint. 2023. https://doi.org/10.48550/arXiv.2304.05613
Nababan M., Nuraeni A., Sumardiono S. Pengembangan Model Penilaian Kualitas Terjemahan // Kajian Linguistik Dan Sastra. 2012. Volume 24 (1). Pp. 39–57. https://doi.org/10.23917/KLS.V24I1.101
Nagao М. Machine Translation. Oxford: Oxford University Press, 1989. 150 p.
Ouyang F. Making strides towards AI-supported regulation of learning in collaborative knowledge construction / F. Ouyang, M. Wu, L. Zhang, W. Xu, L. Zheng, M. Cukurova // Computers in Human Behavior. 2023. Volume 142. https://doi.org/10.1016/j.chb.2023.107650
Peng K. Towards Making the Most of ChatGPT for Machine Translation / K Peng, L. Ding, Q. Zhong, Li Shen, X. Liu, M. Zhang, Y. Ouyang, D. Tao // Arxiv preprint. 2023. https://arxiv.org/pdf/2303.13780v3
Siu Sai Cheong. ChatGPT and GPT-4 for Professional Translators: Exploring the Potential of Large Language Models in Translation // SSRN Electronic Journal. 2023. http://dx.doi.org/10.2139/ssrn.4448091
Vaswani A. Attention Is All You Need / A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin // Arxiv preprint. 2017. Volume 30. https://doi.org/10.48550/ARXIV.1706.03762
Wang L. Document-level machine translation with large language models / L. Wang, Ch. Lyu, T. Ji, Zh. Zhang, D. Yu, Sh. Shi, Zh. Tu // Arxiv preprint. 2023. Pp. 16646–16661. https://arxiv.org/pdf/2304.02210
Wu H. ChatGPT or Grammarly? Evaluating ChatGPT on grammatical error correction benchmark / H. Wu, W. Wang, Y. Wan, W. Jiao, M. R. Lyu // Arxiv preprint. 2023. https://arxiv.org/pdf/2303.13648
Zhou D. Chain of Thought Prompting Elicits Reasoning in Large Language Models / D. Zhou, J. Wei, X. Wang, D. Schuurmans, M. Bosma, Ed. Chi, Q. Le // Arxiv preprint. 2022. Volume 3. https://arxiv.org/abs/2201.11903