Синхронный перевод (СП) считается сложной когнитивной задачей, особенно в отношении элементов, которые представляют собой затруднения во время СП (например, числа, идиоматические выражения и т.д.). В данном исследовании рассматривается использование цифр в СП в сочетании с жестами в речи. Проблема перевода чисел рассматривалась разными учеными, однако до сих пор она редко изучалась в полимодальных исследованиях. Учитывая известную роль жестов в процессах лексического поиска, мы выдвигаем гипотезу, что использование жестов рук в речи играет значительную роль в процессе перевода числительных, т.е. облегчает мысленный поиск нужного числа. В дополнение к гипотезе, нами был поставлен исследовательский вопрос о том, соотносятся ли жесты с числами в большей степени с экстернализированной или интернализованной функцией, то есть: либо представление числовой концепции происходит извне (метафорическое изображение количественной сущности как объекта или пространства, к которому можно прикоснуться или на который можно указать), или сопровождается самоадаптерами, чтобы помочь переводчику внутренне справиться с когнитивной нагрузкой / стрессом. Был проанализирован корпус из 10 записей СП с английского языка на русский. Перевод чисел был проанализирован как правильный, неправильный или опущенный. Анализ материала показал, что участники в основном либо правильно переводили цифры, либо опускали их в своей речи. Результаты анализа жестов, сопровождающих речь, продемонстрировали почти равное использование жестов или их отсутствие при переводе чисел, однако наблюдалась значительная корреляция между переводом определенных категорий чисел и использованием жестов. Затем были проанализированы следующие типы функций жеста: адаптеры, прагматические, репрезентирующие и дейктические. Результаты показывают, что адаптеры были наиболее часто используемым типом жестов. Этот вывод может быть интерпретирован на основе литературы, показывающей, что использование самоадаптеров снимает напряжение и тревогу или / и помогает человеку обрести контроль над стрессовыми ситуациями.
Simultaneous interpreting (SI) is considered to be a highly demanding cognitive task, especially in regard to elements which represent a stumbling block during SI (e.g. numbers, idiomatic expressions, etc.). The current study examines the use of numbers in SI in combination with co-speech gestures. The issue of interpreting numbers has been addressed by different scholars, however it has rarely been studied from the multimodal perspective so far. Given the known role of gesture during processes of lexical retrieval, we hypothesize that the use of co-speech manual gestures plays a significant role in the process of interpreting numbers, i.e. facilitates mental retrieval of the target number. In addition to the hypothesis to be tested, we consider the exploratory question as to whether any gestures with numbers correlate more with an externalized or internalized function, that is: either representation of the numerical concept externally (metaphorical depiction of the quantified entity as an object or space that could be touched or pointed to) or more with self-adapters to help the interpreter manage the cognitive load/stress internally. A corpus of 10 recordings of English-to-Russian SI sessions was analyzed. The interpreting of numbers was analyzed as being correct, incorrect or absent. The analysis of the material showed that the participants mostly interpreted numbers correctly or omitted them in their speech. The results of the analysis of co-speech gestures demonstrated nearly equal use of gesture and no gesture when interpreting numbers, however, there was a significant correlation between interpreting certain number categories and gesture use. Then the following types of gesture functions were analyzed: adapters, pragmatic, representational and deictic. The results indicate that self-adapters were the most frequent gesture type used. This finding can be interpreted based on the literature showing self-adapters ease tension and anxiety and/or help one gain control of stressful situations.
Исследование выполнено при финансовой поддержке Российского научного фонда, проект № 19-18-00357 «Вербально-телесное поведение говорящего в условиях повышенной когнитивной нагрузки: анализ речи, жестов и движения глаз» в Московском государственном лингвистическом университете.