16+
DOI: 10.18413/2313-8912-2025-11-1-0-4

Значения осгудовских параметров для 1000 слов русского языка

Aннотация

В статье описывается методика сбора данных для формирования аффективных норм к 1000 частотным словам русского языка по параметрам arousal (интенсивность эмоциональной реакции при восприятии слова) и dominance (ощущение силы или слабости при восприятии слова). Данное исследование дополняет оценки, собранные ранее по параметру valence (позитивность/негативность слова). Оценки по трем указанным шкалам (далее – VAD) восходят к классическим параметрам факторного анализа, описанным Ч. Осгудом. Числовые показали по шкалам VAD для различных групп слов с середины XX века собираются на материале различных языков, а развитие информационных технологий и методов сбора больших данных в настоящий момент позволяет получать оценки по аффективным параметрам для широкой выборки стимульных слов. Базы данных рейтингов VAD созданы для большого набора слов английского, голландского, испанского, немецкого и ряда других языков. Подобные ресурсы являются важным источником для реализации исследований в области когнитивных наук, психолингвистики, а также в области компьютерной обротки текстов, например, в сентимент-анализе, что указывает на актуальность создания баз данных аффективных норм. Однако до настоящего исследования указанные параметры не изучались на материале объёмного списка стимульных слов русского языка. В данной работе, во-первых, подробно описывается методология сбора оценок по шкалам arousal и dominance для 1000 слов русского языка; во-вторых, описывается взаимосвязь между шкалами VAD; в-третьих, исследуется роль гендерных различий в формировании параметров по шкалам arousal и dominance; в-четвертых, анализируются особенности аффективных параметров семантической группы слов «болезни». Важным результатом является полученная база данных слов русского языка с рейтингами по параметрам VAD, выявленные корреляции между шкалами и описанные особенности оценки слов по этим параметрам. Кроме того, в статье продемонстрирована согласованность полученных нами данных с рейтингами, созданными для других языков, что указывает, с одной стороны, на надежность полученных результатов, с другой стороны, на общеязыковую тенденцию восприятия слов по аффективным параметрам.


Введение. Аффективные нормы слов являются важным инструментом для реализации исследований как в области когнитивистики, так и компьютерной обработки естественного языка. Как правило, аффективные особенности слов оцениваются по трем параметрам: valence, arousal, dominance, которые восходят к параметрам evaluation, activity, potency, описанным в работах Ч. Осгуда (Osgood et al., 1957). Характеристика слов по указанным параметрам, выраженная числовыми показателями, позволяет на языковом материале проводить исследования в области обработки естественного языка (например, сентимент-анализ), когнитивной науки, психологии и психолингвистики, социальных наук (Mohammad, 2018). Исследуется влияние аффективной окраски слов на их обработку и восприятие (Kousta et al., 2009; Syssau, Laxén, 2012; Vinson et al., 2014; Gao et al., 2022); изучается соотношение аффективных показателей с лингвистическими характеристиками слов, например, выявлена связь рейтингов позитивности с рейтингами абстрактности/конкретности (Warriner et al., 2013; Ponari et al., 2018; Speed, Brysbaert, 2023), показано, что аффективная окраска важна для формирования семантических представлений при восприятии абстрактных слов (Kousta et al., 2011), рассматривается, как позитивность/негативность прилагательных влияет на процесс обработки предложений как на синтаксическом, так и на семантическом уровне (Martín-Loeches et al., 2011); изучаются вопросы, связанные с особенностями проявления эмоций людей разных социальных групп (Verona et al.,  2012). Как правило, для того, чтобы подобные исследования проводились на объективном материале, для различных языков создаются объемные базы данных аффективных норм. База данных «Affective Norms for English Words» (ANEW) является первым ресурсом данного типа (Bradley, Lang, 1999). В дальнейшем, на основе этого ресурса создавались адаптации для других языков. В 2013 году для английского языка создали расширенную базу данных аффективных норм методом краудсорсинга (Warriner et al., 2013). С этого года стали появляться объемные аффективные рейтинги для различных языков. На данный момент разработаны такие источники для голландского (Speed, Brysbaert, 2023), испанского (Stadthagen-Gonzalez et al., 2016), польского (Riegel et al., 2015), французского (Monnier, Syssau, 2013) и ряда других языков. Однако для русского языка на основе массовых опросов подобные исследования не проводились.

В данной статье описывается методология создания базы данных аффективных норм к 1000 словам русского языка, а также исследования, проведенные на основе материалов созданного ресурса, а именно, во-первых, рассматривается, каким образом коррелируют рейтинги arousal, dominance и valence между собой; во-вторых, исследуется вопрос о том, как и насколько влияет пол респондентов на оценки слов по изучаемым параметрам; в-третьих, исследуются особенности аффективных параметров к группе слов, именующих болезни. Кроме того, параллельно сравниваются полученные нами количественные данные с данными исследований на материале других языков. Разрабатываемая база данных объединяет уже созданные рейтинги позитивности/негативности (шкала valence) (Solovyev et al., 2022) с полученными новыми оценками по таким аффективным параметрам, как dominance и arousal. Оценки по указанным параметрам были получены в ходе опросов на краудсорсинговом сервисе «Яндекс. Задания».

Таким образом, работа направлена на описание созданной на основе массовых опросов базы данных аффективных норм, которая является первым ресурсом подобного типа для русского языка. Разработанная база данных позволит реализовать исследования на материале русского языка как в области когнитивистики, так и автоматической обработки естественного языка.

Обзор литературы. Такие показатели как valence (позитивность/негативность), arousal (интенсивность проявления эмоций), dominance (доминантность или сила), являются основными переменными в существующих словарях аффективных норм. Как правило, оценки слов по указанным параметрам получают при помощи процедуры рейтингования, которая основана на принципах семантического дифференциала Ч. Осгуда (Osgood, 1957). Классические факторы Осгуда в англоязычной литературе называют следующим образом: «evaluation», «activity», «potency». Впервые на основе трех факторов Осгуда исследование эмоциональной реакции человека на различные стимулы было проведено в 1974 году А. Мехрабианом и Дж. Русселом (Mehrabian, Russell, 1974). В этой работе авторами была предложена иная терминология для рассматриваемых параметров: valence, arousal и dominance (далее при упоминании трех показателей будет использоваться аббревиатура VAD). Именно данные термины стали чаще использоваться при создании баз данных аффективных норм. В эксперименте Мехрабиана и Русселла оценка стимулов участниками осуществлялась на основе шести биполярных пар прилагательных по девятибалльной шкале. Прилагательные тем или иным образом были связаны с тремя факторами, т.е. оценка стимулов осуществлялась в многомерном пространстве, что соответствует классическому варианту применения метода семантического дифференциала.

Однако оценка слов на основе процедуры многомерного шкалирования значительно осложняет эксперимент. М. Брэдли и П. Лангом была разработана упрощенная процедура оценки по факторам Осгуда, которая основывалась на невербальной шкале SAM (The Self-Assessment Manikin) (Bradley, Lang, 1994). SAM – это девятибалльная шкала, на которой изображен человек, проявляющий различные эмоции в зависимости от аффективного параметра VAD. Проведенные эксперименты продемонстрировали сильную корреляцию оценок, полученных при помощи SAM, с результатами многомерного шкалирования Мехрабиана и Русселла.

В 1999 году М. Брэдли и П. Ланг разработали базу данных аффективных норм английского языка – ANEW («Affective Norms for English Words») (Bradley, 1999). Оценка слов осуществлялась при помощи шкалы SAM (Вольская, 2024). В ANEW вошло 1040 слов-стимулов, некоторые из которых использовались в подобных экспериментах ранее: 150 слов из рейтингов Мехрабиана и Русселла (Mehrabian, Russell, 1974) и 450 слов из экспериментов, описанных в работе (Bellezza et al., 1986). Все слова были распределены по отдельным спискам, каждый из которых состоял из 100-150 слов. Участниками опросов являлись студенты.

В целом, мы можем выделить три основных подхода к оценкам слов по параметрам VAD. Во-первых, оценка на основе визуальной шкалы SAM. Во-вторых, оценка при помощи числовой шкалы Лайкерта (Likert, 1932). В-третьих, оценка слов методом «Best–worst scaling» (BWS).

Рассмотренная выше база данных долгое время являлась единственным подобным ресурсом. На основе ANEW созданы словари аффективных показателей для ряда европейских языков, например, адаптация ANEW для испанского (Redondo et al., 2007), итальянского (Montefinese et al., 2013), португальского (Soares et al., 2012) языков.

Кроме того, существуют базы данных аффективных норм, которые по процедуре создания отличаются от ANEW, однако оценки для которых были получены на основе шкалы SAM. Например, база для немецкого языка – BAWL-R, созданная в 2009 году (Võ et al., 2009). В BAWL-R входит 2900 стимулов. Оценки к словам собирались по шкале valence от -3 до +3, по шкале arousal от 1 до 7 и по шкале imageability от 1 до 5 (шкала указывает, насколько слово поддается визуализации, т.е. на степень образности и визуализации). В опросе участвовало 200 человек, как и в эксперименте Брэдли и Ланга, это были студенты-психологи. На основе BAWL-R была создана база данных для польского языка, которая содержит оценки к 2902 словам-стимулам (Riegel et al., 2015).

При создании новой базы данных аффективных норм английского языка и голландского языка использовалась уже не SAM, а шкала Лайкерта. При создании базы данных голландского языка использовалась 7-балльная шкала, помимо оценок по показателям VAD, собирались оценки и по показателю age of acquisition (AoA, возраст усвоения) (Moors et al., 2012). Всего было оценено 4300 слов. При создании рассмотренных выше баз данных слова оценивались параллельно по всем изучаемым аффективным показателям, однако в данном эксперименте участники получили списки сразу из всех входных слов, но оценка осуществлялась по одному из четырех показателей. В опросах участвовали 224 студента из двух университетов разных регионов.

Самым объемным ресурсом для английского языка, созданным на основе рейтинговых шкал, на настоящий момент является база данных аффективных показателей, которая была создана в 2013 году (Warriner et al., 2013). База данных содержит оценки для 13 915 лемм. Стимулы оценивались по параметрам VAD по 9-балльной шкале. Опросы проводились на краудсорсинговой площадке Amazon Mechanical Turk. Слова-стимулы отбирались из ANEW, из обновленной и расширенной версии норм Баттига и Монтегю (Van Overschelde et al., 2004), корпуса SUBTLEX-US (Brysbaert, New, 2009), а также из базы данных рейтингов возраста усвоения слов (Kuperman et al., 2012). Из последнего источника отбирались только частотные слова для носителей английского языка. В результате стимульные материалы состояли из существительных (63,5%), прилагательных (22,5%), глаголов (12,6%) и других частей речи (1,4%). Слова-стимулы были распределены по 43 спискам, каждый из которых содержал от 346 до 350 слов. В список включались 10 калибровочных слов, 40 контрольных слов из ANEW. Каждый список оценивало 20 респондентов возрастом от 16 до 87 лет.

На основе методологии создания аффективных рейтингов английского языка была создана новая база данных испанского языка, в которую вошли оценки по шкалам valence и arousal (Stadthagen-Gonzalez et al., 2016). Ресурс содержит 14 тысяч слов. В исследовании приняли участие в общей сложности 512 носителей испанского языка, как правило, студенты-бакалавры (средний возраст 22 года). Слова-стимулы новой базы данных для испанского языка были собраны из следующих источников: из адаптации ANEW для испанского языка (Redondo et al., 2007), из адаптации базы данных Бэттига и Монэгю (Marful et al., 2014) (с целью описания слов различных семантических категорий), а также из базы данных испанского языка, которая была создана на основе объёмного корпуса (Duchon et al., 2013). Окончательный список содержал 61,8% существительных, 21,3% прилагательных, 15,8% глаголов, 0,7% наречий и 0,3% других частей речи. Примечательно, что в рассмотренных выше проектах оценивались, как правило, леммы, однако в эту базу аффективных норм вошли и словоформы, в частности, формы глаголов, поскольку авторы стремились выявить возможные отличия в оценках по аффективным параметрам в зависимости от категории лица и времени глагола. Как и в базу для английского языка, в список испанских слов вошли слов-калибраторы и контрольные слова. Все стимулы были распределены на 43 списка, каждый содержал 351 до 354 слов.

Совсем иной подход к получению оценок по факторам Осгуда используется в базе данных «NRC Valence, Arousal, and Dominance (VAD) Lexicon» (Mohammad, 2018), которая создавалась на материале английского языка. Оценки были получены при помощи опросов на краудсорсинговой площадке, но без использования рейтинговых шкал. В экспериментах применялся метод «Best–worst scaling» (BWS), который заключается в следующем: участникам опроса предлагается оценить n-элементов и определить, какой элемент является «лучшим», т.е. в нем наиболее явно проявляется анализируемое свойство, а какой «худшим», т.е. в нем не выражено анализируемое свойство. В рамках указанного эксперимента респондентам нужно было оценить таким образом четыре предложенных слова. Для указания крайних значений исследуемых параметров использовались слова из предыдущих исследований, в частности, из ANEW, из экспериментов Ч. Осгуда (Osgood, 1957) и Дж. Русселла (Russell, 1980). В среднем 4 слова по трем параметрам оценивало 6 человек и более. Прежде чем проводить массовые опросы, авторы эксперимента сами оценили некоторые слова. Данные оценки послужили контрольными словами: если между оценкой пользователей и оценками авторов выявлялась слабая корреляция, то эти оценки отклонялись. Всего было оценено 20 тысяч слов-стимулов, на данный момент рассматриваемая база данных является самой объемной и единственной созданной на основе методологии BWS.

Кроме того, существует множество баз данных для различных языков, которые содержат оценки по различным аффективным параметрам, включая классические параметры Осгуда. В 2023 году были получены оценки для 24 тысяч слов-стимулов голландского языка по двум ключевым параметрам, valence и arousal, а также по шкалам отдельных категорий эмоций: счастья, гнева, страха, печали, отвращения и удивления (Speed, Brysbaert, 2023). В базу данных вошли слова, которые уже были оценены по параметру конкретности и возраста усвоения (Brysbaert et al., 2014). Все слова для оценки по параметрам Осгуда были распределены по пяти спискам, в каждый включалось 4800 стимулов. Слова для оценок по параметрам различных эмоций были поделены на 24 списка, каждый из которых включал по 1000 стимулов. В опросах участвовали студенты возрастом от 16 до 28 лет. Количество участников, оценивших каждый список, варьировалось от 8 до 30. Оценка слов по valence и arousal осуществлялась отдельно, однако по параметрам эмоций слова оценивались параллельно. Для всех списков слов использовалась шкала Лайкерта от 1 до 5. В данном исследовании не рассматривался показатель dominance, так как предыдущие исследования доказали высокую корреляцию оценок по данному параметру с valence (Warriner et al., 2013).

Кроме того, источники с различными аффективными параметрами были созданы для ряда других языков (Вольская, 2024). Так, в базу данных польского языка вошло 4905 слов, которые были оценены по таким показателям, как valence, arousal, dominance, concreteness (конкретность/абстрактность), imageability, AoA (Imbir, 2016); база данных испанского языка содержит оценки по шкалам valence, arousal, dominance, concreteness, imageability,  contextavailability (доступности контекста) для 1400 слов (Guasch et al., 2016); для хорватского языка был разработан ресурс, который включает 3022 слова с оценками по шкалам valence, arousal, concreteness (Ćoso et al., 2019); по таким же параметрам было оценено 3907 слов немецкого языка (Lahl et al., 2009); 1659 слов французского языка получили оценки по параметрам valence, arousal, concreteness, contextavailability (Bonin et al., 2018). Описанные базы данных аффективных норм представлены в сводной таблице (Приложение 1).

Интерес к созданию баз данных с психолингвистическими параметрами для русского языка возрос с начала XXI века (Вольская, 2024). Примеры подобных проектов описываются в ряде работ (Марченко, 2010; Малов, 2016; Резанова, Миклашевский, 2016; Соловьев, 2022; Григорьев, Пашнева, 2022).

Материалы и методы исследования. В список стимулов включены 1000 слов, которые уже были оценены по параметру valence (Solovyev et al., 2022). В указанный источник слова разных частей речи отбирались по принципу частотности (Ляшевская, Шаров, 2015)[1]. В базу данных вошли примерно в равном количестве глаголы, существительные и прилагательные. К тому же из данного списка 325 слов вошли в базу данных абстрактности и конкретности (Соловьев, 2022), что позволяет исследовать корреляцию между тремя параметрами Осгуда с параметром конкретности. Исследование взаимосвязи между этими характеристиками на материалах английского, голландского и испанского языков продемонстрировало, что, во-первых, слова с высоким рейтингом доминантности и с рейтингом позитивности (valence), как правило, конкретные; во-вторых, абстрактные слова, как правило, имели низкий рейтинг по шкале arousal, повышение рейтинга по этой шкале коррелировало с повышением рейтинга конкретности (Warriner et al., 2013; Stadthagen-Gonzalez et al., 2016; Speed, Brysbaert, 2023).

Сбор оценок по двум параметрам осуществлялся при помощи краудсорсинговой площадки «Яндекс. Задания». Принимать участие в опросах могли только пользователи сервиса, для которых родным языком является русский. Не были установлены ограничения касательно уровня образования, однако респондентам было необходимо указать уровень образования перед прохождением опроса. Кроме того, были установлены возрастные критерии: не моложе 30 лет. Такой возрастной критерий был установлен в опросах, которые проводились для получения оценок по шкале valence (Solovyev et al., 2022), поскольку оценки по данной шкале будут объединены с полученными оценками в рамках этого исследования, был установлен такой же возрастной критерий. Отметим, что при создании почти всех БД в опросах участвовали студенты возрастом примерно от 18 до 26. Однако в экспериментах при создании новой БД для английского языка принимали участие респонденты возрастом от 16 до 87 лет. Такой широкий возрастной диапазон позволил авторам исследовать корреляцию между ответами участников младше 30 лет и участников старше 30 лет, в результате была продемонстрирован незначительная разница (Warriner et al., 2013). Подобные результаты были выявлены при анализе оценок по шкале абстрактности/конкретности. Так, между ответами респондентов возрастом от 18 до 30 и от 31 до 55 была выявлена сильная корреляционная связь по коэффициенту Спирмена – 0,932 (Соловьев и др., 2022). Также для повышения качества ответов в опросе могли участвовать только те пользователи, которые успешно выполняли другие задания на портале, что составляет 20% от общего количества всех пользователей «Яндекс. Заданий»

Перед прохождением опроса респондентам предлагалось ознакомиться с инструкциями, которые были разработаны с учетом инструкций к англоязычным опросам. В инструкции мы включили примеры слов с крайними оценками, которые были взяты из ANEW. Такое решение было принято в связи с некоторыми сложностями перевода англоязычной терминологии параметров Осгуда. Термин dominance и arousal с сохранением первоначальной семантики сложно перевести на русский язык одним словом, приходилось использовать расширенные формулировки с примерами для того, чтобы участники смогли понять, каким образом им необходимо оценивать слова. Наименование первой шкалы, arousal, можно перевести на русский буквально как «возбуждение» – это прямой перевод данного слова. Но дополнительная коннотация лексемы «возбуждение» в русском языке не совпадает с прямым значением англоязычного слова. Более нейтральным переводом является вариант «интенсивность», который, в свою очередь, без пояснения тоже может быть не вполне понятным. В связи с этим было принято решение объяснить значение данной шкалы следующим образом: «Первая шкала указывает на степень активности или пассивности эмоциональной реакции на слово». Шкала dominance трактовалась следующим образом: «Вторая шкала указывает на степень того, ощущаете ли Вы силу (Вы контролируете ситуацию) или слабость (Вы находитесь под контролем) при восприятии слова».

Далее респондентам было необходимо указать: 1) возраст; 2) пол; 3) уровень образования. После этого участникам открывалась форма со списком из 50 слов, к каждому из которых приводилось две шкалы с показателями от 1 до 5. Респондентам было необходимо оценить каждое слово из списка параллельно по двум шкалам. На каждый список опрашивалось минимум 30 человек. Показатель 1 на шкале arousal указывает на то, что респондент ощущает пассивное проявление эмоций, на шкале dominance – ощущает слабость, подконтрольность; 5 на шкале arousal – активное проявление эмоций, на шкале dominance – ощущает силу, возможность контролировать ситуацию.

Перед тем, как запустить опрос в «Яндекс. Задания», мы провели пилотные опросы, которые позволили скорректировать некоторые формулировки в инструкциях, а также получить «эталонные» оценки к 25 словам, которые в остальных опросах использовались как контрольные для отсева ответов недобросовестных пользователей. В пилотных опросах приняли участие 36 человек. Как правило, это были студенты-филологи 2-3 курсов, а также преподаватели вуза. 7 человек, прошедших опрос, оставили обратную связь о возникших сложностях, о непонятных формулировках в инструкции, в результате чего удалось усовершенствовать процедуру опроса.

Для исключения ответов недобросовестных исполнителей, во-первых, проверялась корреляция ответов конкретного пользователя по 5 контрольным словам, которые демонстрируют весь диапазон проявления изучаемых аффективных параметров, и оценки к которым были получены в ходе пилотных опросов среди студентов и сотрудников Казанского федерального университета; во-вторых, проводился корреляционный анализ ответов конкретного пользователя со средним показателем оценки к данному слову; в-третьих, отбрасывались ответы с единообразными оценками ко всем словам; в-четвертых, отклонялись «быстрые» ответы, т.е. выполненные быстрее, чем за установленное минимальное время, а именно 6 минут. Подобные правила применялись и при создании англоязычной базы данных аффективных норм (Warriner  et al., 2013), кроме того, на данные критерии мы опирались и при формировании базы данных рейтингов абстрактности и конкретности (Соловьев и др., 2022). Созданная база данных аффективных норм для русского языка доступна по адресу: https://ifmk.kpfu.ru/laboratory/lingvistika-i-iskusstvennyj-intellekt/.

Результаты исследования и их обсуждение.

В настройках проекта применялась отложенная приемка, что позволяло оценить ответы пользователей и в случае несоответствия правилам контроля отклонить их ответы. По причине быстрого выполнения задания было автоматически отклонено 326 ответов. Ответы, прошедшие автоматическую проверку, оценивались вручную. Всего по причине низкой корреляции с оценками к контрольным словам и единообразия оценок было отклонено 348 ответов. Отклоненные ответы не влияли на общее количество респондентов, так как при отсеве ответов, перекрытие, т.е. количество респондентов, увеличивалось на количество отклонённых ответов.

В опросах фактически в равном количестве участвовали мужчины и женщины: 316 мужчин и 345 женщин; 312 человек с высшим образование, 215 – со средним специальным, 72 – с неоконченным высшим, 62 – со средним образованием. Итак, в общей сложности были приняты ответы 661 пользователя. Как было указано выше, список из 1000 слов был поделен на списки по 50 слов, в опросах респондент мог участвовать только один раз, т.е. респондент мог оценить только один список слов. Каждое слово в среднем получило 33 ответа. Для всех оценок было рассчитано среднее значение, стандартное отклонение и согласованность.

Стандартное отклонение по шкалам arousal и dominance указывает на низкий разброс оценок, т.е., например, при оценке слов со средним рейтингом респонденты, как правило, на шкале выбирали показатель 3. Показатели среднего значения стандартного отклонения в сравнении с показателями, которые были получены для слов английского языка по 9-балльной шкале arousal и dominance (Warriner et al., 2013) указаны в таблице 1.

Таблица 1. Среднее значение стандартного отклонения по шкалам arousal и dominance

Table 1. Mean value of the standard deviation of the arousal and dominance scales

Согласованность ответов респондентов рассчитывалась отдельно по двум шкалам для каждого списка слов (всего 20 списков по 50 слов в каждом). Для расчета согласованности использовался коэффициент альфа Кронбаха (Xu et al, 2021). Согласованность оценок по шкале arousal варьируется от 0,77 до 0,93 (средний показатель – 0,88), по шкале dominance – от 0,75 до 0,92 (средний показатель – 0,86), что в обоих случаях указывает на хорошую согласованность ответов (Cronbach, 1951).

Условно (на основе экспертных мнений) были заданы следующие значения для интервалов полученных оценок. Слова, которые получили оценки в интервале от 1 до 2,4, определялись как слова: а) с низким рейтингом по шкале arousal, б) с низким рейтингом по шкале dominance; слова с оценками от 2,5 до 3,4 – слова: а) со средним рейтингом по шкале arousal, б) со средним рейтингом по шкале dominance; слова с оценками от 3,5 до 5 – слова: а) с высоким рейтингом по шкале arousal, б) с высоким рейтингом по шкале dominance. Средний рейтинг указывает на то, что респонденты либо часто выбирали на шкале показатель 3, либо на высокую степень разброса оценок. Подобное разделение оценок на диапазоны позволяет проводить более детальный анализ, а также исключить из рассмотрения слова с крайними показателями слова с средними оценками. Кроме того, выделенные диапазоны позволяют рассматривать корреляцию с рейтингами абстрактности/конкретности (Соловьев и др., 2022).

Для дальнейшего количественного анализа были посчитаны слова с высоким, средним и низким рейтингом по изучаемым шкалам. Кроме того, рассмотрены показатели по шкале valence, которые были получены в рамках опросов, описанных в работе (Solovyev et al., 2022). В указанном эксперименте оценка осуществлялась по шкале от 1 до 9, показатели были преобразованы в шкалу от 1 до 5. Данные по количеству слов с высоким, средним, низким рейтингом по трем шкалам зафиксированы в таблице 1.

Таблица 2. Количественные данные рейтингов по трем шкалам

Table 2. Quantitative data of ratings on three scales

Как видно, большая часть слов по шкалам arousal и dominance оценивалась средним показателем, фактически не наблюдаются слова с максимально крайним показателем – 1 или 5. По всем трем шкалам реже всего встречаются слова с низкими рейтингами, которые указывают на то, что: а) слово вызывает пассивное проявление эмоций; б) слово вызывает ощущение слабости и подконтрольности; в) слово вызывает негативные эмоции. Медианами для набора оценок по шкале arousal и dominance являются соответственно 3,197 и 3,176, для шкалы valence – 3,669 (рисунок 1).

Рисунок 1. Распределение рейтингов VAD

Figure 1. Distribution of VAD ratings

 

Корреляция между шкалами dominanceи arousal

Рассмотрим, как коррелируют между собой показатели трех шкал, характер взаимосвязи может указывать как на лексико-семантические особенности слов, так и на особенности их восприятия носителями языка.

Если рассматривать разброс оценок слов по установленной шкале от 1 до 5, то между показателями dominance и arousal наблюдается следующая взаимосвязь: при низком рейтинге dominance выявляются более высокие показатели по шкале arousal; при высоком уровне dominance показатели arousal ниже, большая часть слов оценивалась по двум шкалам оценками в диапазоне среднего показателя (рис. 2).

Рисунок 2. Взаимосвязь между шкалами dominance и arousal

Figure 2. Relationship between dominance and arousal scales

Выявлена положительная и умеренная корреляция между этими показателями, коэффициент корреляции Спирмена равен 0,522 (далее при корреляционном анализе будет использоваться коэффициент корреляции Спирмена). Рассмотрим более подробно эти шкалы, а именно проанализируем корреляцию только между словами с высоким рейтингом dominance и шкалой arousal и между словами с низким рейтингом dominance и шкалой arousal.

Между показателями слов с высоким рейтингом dominance (351 слово) с показателями arousal выявлена умеренная положительная корреляция (ρ = 0,368), для английского языка был выявлен следующий показатель корреляции – 0,139 (Warriner et al., 2013). Итак, слова, которые вызывают у человека ощущение силы, контроля над ситуацией, как правило, вызывают и ощущения, приближенные к активному проявлению эмоций. Но большая часть слов получила показатель arousal ниже показателя dominance (рис.3). На диаграмме по оси Y – расположены количественные показатели рейтингов, по оси X – слова, расположенные в порядке увеличения рейтинга по шкале dominance.

Рисунок 3. Рейтинги по шкале arousal для слов с высоким рейтингом dominance

Figure 3. Ratings on the arousal scale for words with high dominance ratings

Среди данных слов 227 получило высокий рейтинг по шкале arousal, 116 – средний, 8 – низкий. Несколько примеров слов с высоким рейтингом и слова с низким зафиксированы в таблице 3.

Таблица 3. Рейтинги по шкале arousal для слов с высоким рейтингом dominance

Table 3. Ratings on the arousal scale for words with high dominance ratings

Между показателями слов с низким рейтингом dominance (103) и показателями arousal наблюдается отрицательная корреляция (ρ = -0,275), подобный показатель корреляции был обнаружен и для английских слов – -0,193 (Warriner et al., 2013), т.е. слова, которые вызывают у человека ощущение подконтрольности и слабости, как правило, воспринимаются при активном проявлении эмоций. На диаграмме видно, что при увеличении рейтинга dominance уменьшается рейтинг arousal (рисунок 4).

Рисунок 4. Рейтинги по шкале arousal для слов с низким рейтингом dominance

Figure 4. Ratings on the arousal scale for words with low dominance ratings

Однако большая часть слов с низким показателем dominance – это слова со средним рейтингом по шкале arousal. Всего среди слов с низким рейтингом dominance 29 слов с высоким рейтингом arousal, 48 – со среднем рейтингом, 26 – с низким.

В таблице 4 представлены примеры слов с высоким и низким рейтингом по шкале arousal для слов с низким рейтингом dominance.

Таблица 4. Рейтинги по шкале arousal для слов с низким рейтингом dominance

Table 4. Ratings on the arousal scale for words with low dominance ratings

 
Корреляция между шкалами valence и arousal.

При низком рейтинге по шкале valence наблюдаются более высокие показатели по шкале arousal; при высоком рейтинге valence показатели arousal становятся ниже (рис.5). Между данными показателями выявлена положительная, но слабая корреляционная связь (ρ = 0,3).

Рисунок 5. Взаимосвязь между шкалами valence и arousal

Figure 5. Relationship between valence and arousal scales

Рассмотрим взаимосвязь arousal отдельно с высоким и низким рейтингом valence. Между показателями слов с высоким рейтингом по шкале valence (647) и показателями arousal выявлена положительная умеренная корреляционная связь – ρ = 0,417 (для английского языка – 0,273), т.е. положительные слова, как правило, вызывают активное проявление эмоций. Однако, если смотреть распределение оценок по установленной шкале, все-таки показатели arousal оказываются несколько ниже показателей valence, что видно на диаграмме (рисунок 6). На диаграмме по оси Y – расположены количественные показатели рейтингов, по оси X – слова, расположенные в порядке увеличения рейтинга по шкале valence.

Рисунок 6. Рейтинги по шкале arousal для слов с высоким рейтингом valence

Figure 6. Ratings on the arousal scale for words with high valence ratings

Из всех положительных слов 269 получили высокий рейтинг arousal, 332 – средний и 46 – низкий. Некоторые примеры слов из этой группы зафиксированы в таблице 5.

Таблица 5. Рейтинги по шкале arousal для слов с высоким рейтингом valence

Table 5. Ratings on the arousal scale for words with high valence ratings

 
Между показателями слов с низким рейтингом по шкале valence (всего 54 слова) и показателями arousal выявлена отрицательная корреляционная связь – ρ = -0,158 (для английского языка – -0,293), т.е. отрицательные слова, как и положительные, вызывают более активное проявление эмоций (рисунок 7).

Рисунок 7. Рейтинги по шкале arousal для слов с низким рейтингом valence

Figure 7. Ratings on the arousal scale for words with low valence ratings

30 слов с низким рейтингом valence получили высокий рейтинг по шкале arousal, 21 слово – средний рейтинг arousal, 3 слова – низкий. Слова с высоким и низким рейтингом представлены в таблице 6.

Таблица 6. Рейтинги по шкале arousal для слов с низким рейтингом valence

Table 6. Ratings on the arousal scale for words with low valence rating

Корреляция между шкалами valence и dominance

Между показателями по шкале valence и dominance наблюдается следующая взаимосвязь: при низком уровне valence рейтинг dominance также является низким, при высоком рейтинге valence рейтинг dominance также оказывается высоким, хоть и несколько ниже показателей valence, что объясняется меньшим количеством слов с высоким рейтингом dominance в сравнении с valence (рис. 8). Между показателями выявлена положительная корреляционная связь – ρ = 0,551.

Рисунок 8. Взаимосвязь между шкалами valence и dominance

Figure 8. Relationship between valence and dominance scales

У слов с высоким рейтингом valence (647) наблюдается и высокий рейтинг dominance, т.е. позитивные слова вызывают у людей ощущение контроля, силы. При этом, среди позитивных слов встречаются и слова со средним рейтингом dominance – 340 слов, а также с низким – 21 слово, 286 слов получили высокий рейтинг dominance. Некоторые примеры слов с высоким и низким рейтингом указаны в таблице 7. Между показателями зафиксирована положительная умеренная корреляционная связь (ρ = 0,459).

Таблица 7. Рейтинги по шкале dominance для слов с высоким рейтингом valence

Table 7.Dominance ratings for words with high valence ratings

 
При низком рейтинге valence (54), как правило, слова получали и низкую оценку по шкале dominance, т.е. отрицательные слова вызывали у людей ощущение подконтрольности и слабости. Однако встречаются и слова, которые получили средний рейтинг dominance (18 слов), одно слово получило высокий рейтинг (заставить), 35 слов – низкий. Между показателями зафиксирована положительная, умеренная корреляция – ρ = 0,434. Некоторые примеры слов с низким рейтингом представлены в таблице 8.

Таблица 8. Рейтинги по шкале dominance для слов с низким рейтингом valence

Table 8. Dominance ratings for words with low valence ratings

Подобный тип взаимосвязи между всеми показателями по трем шкалам обнаружен и при анализе слов английского (Warriner, 2013), голландского (Speed, 2024) языков, что указывает на надежность наших результатов, а также на общеязыковую тенденцию восприятия слов по аффективным параметрам. В таблице 9 представлены данные о корреляции между тремя проанализированными шкалами. Во-первых, указывается общий показатель корреляции по всем оцененным словам по шкалам: а) dominance и arousal; б) valence и arousal; в) valence и dominance; во-вторых, показатели корреляции между оценками слов с высоким рейтингом по одной шкале с оценками по другим шкалам: а) высокий рейтинг dominance и рейтинги arousal; б) высокий рейтинг valence и рейтинги arousal; в) высокий рейтинг valence и рейтинг dominance; в-третьих, показатели корреляции между оценками слов с низким рейтингом по одной шкале с оценками по другим шкалам: а) низкий рейтинг dominance и рейтинги arousal; б) низкий рейтинг valence и рейтинг arousal; в) низкий рейтинг valence и рейтинг dominance.

Таблица 9. Корреляция между оценками по трем шкалам VAD

Table 9. Correlation between scores on the three VAD scales

 

При анализе рейтингов, как было указано выше, мы выделили группу слов со средним показателем по всем шкалам (от 2,5 до 3,4). Рассмотрим соотношение рейтингов по трем шкалам к словам с таким рейтингом.

Итак, большая часть слов со средним рейтингом по той или иной шкале получила и средний рейтинг по другим шкалам, примерно в равных частях низкий и высокий рейтинг. Процентное соотношении распределение оценок по трем шкалам к словам со средним рейтингом примерно одинаковое. В таблице 10 указано количество слов с низким, средним, высоким рейтингом по шкале arousal и dominance к словам со средним рейтингом по шкале valence, а также количество слов со средним рейтингом по шкале dominance, которые получили низкий, средний, высокий рейтинг по шкале arousal.

Таблица 10. Соотношение показателей по трем шкалам к словам со средним рейтингом

Table 10. Ratio of scores on the three scales to words with average rating

 
Отличия в оценках в зависимости от пола респондентов

В опросах фактически в равном количестве участвовали мужчины и женщины: 316 мужчин и 345 женщин. Между оценками мужчин и женщин по шкалам arousal и dominance наблюдается сильная корреляционная связь: ρ = 0,777 и ρ = 0,788. Как ответы мужчин, так и женщин по двум шкалам имеют примерно одинаковое среднее значение – приблизительно 3,2 (как для первой, так и для второй шкалы). На рисунке 9 изображена диаграмма дисперсии ответов мужчин и женщин по шкале arousal, на рисунке 10 – по шкале dominance. По оси X расположены ответы женщин, Y – мужчин. Большая часть ответов находится примерно в одном диапазоне, однако наблюдаются некоторые выбросы.

Рисунок 9. Ответы мужчин и женщин по шкале arousal

Figure 9. Responses of men and women on the arousal scale

Рисунок 10. Ответы мужчин и женщин по шкале dominance

Figure 10. Responses of men and women on the dominance scale

Рассмотрим более детально, какие слова получили оценки с наибольшей разницей.

По шкале arousal разница в оценках мужчин и женщин варьируется от -3,5 до 1,4. В таблице 11 представлены некоторые слова с самой большой разницей, которые были оценены мужчинами и женщинами так, что в результате эти слова получили различные рейтинги. Всего выявлено 212 слов, которые по ответам мужчин и женщин получили показатели, относящиеся к разным группам рейтингов (высокий, средний, низкий).

Таблица 11. Слова, которые относятся к разным рейтингам arousal по ответам мужчин и женщин

Table 11. Words that relate to different arousal ratings by male and female responses

 
В целом, тенденция ответов мужчин и женщин по шкале arousal не отличается. Среди слов, оцененных мужчинами, 88 получили низкий рейтинг arousal, 581 – средний, 332 – высокий. Среди слов, оцененных женщинами, 91 слово имеет низкий рейтинг, 542 – средний, 368 – высокий. Таким образом, как мужчины, так и женщины чаще на шкале arousal выбирали показатель 3, 4 или 5.

По шкале dominance разница в оценках варьируется от -1,7 до 1,8. Здесь наблюдается та же тенденция, что и со шкалой arousal. Мужчины и женщины чаще выбирали на шкале показатели 3, 4, 5, что отразилось в общих количественных данных. Среди слов, оцененных мужчинами, 95 слов получили низкий рейтинг, 550 – средний, 355 – высокий; среди слов, оцененных женщинами, 99 – низкий, 551 – средний, 350 – высокий. Всего выявлено 198 слов, которые были оценены мужчинами и женщинами показателями рейтингов разных групп (низкий, средний, высокий). В таблице 12 указаны некоторые слова с наибольшей разницей, получившие разные рейтинги по шкале dominance.

Таблица 12. Слова, которые относятся к разным рейтингам dominance по ответам мужчин и женщин

Table 12. Words that refer to different dominance ratings according to male and female responses

Рейтинги слов семантической группы «болезни»

Рейтинги аффективных норм можно использовать для определения отношения и мнения носителей того или иного языка, которое выражается в количественных оценках, относительно различных физических, психологических и социальных явлений. В рамках данного исследования мы получили оценки по трем шкалам VAD к 25 словам-наименованиям различных заболеваний (Приложение 2). Список этих слов был взят из исследования на материале английского языка, что позволит сопоставить полученные данные (Warriner et al., 2013).

Итак, почти все наименования болезней оценивались как слова, которые вызывают негативные чувства, активное проявление эмоций, ощущение слабости и подконтрольности. Оценки по шкале arousal к этой семантической группе слов оказались выше медианы оценок всех остальных слов (рис.11), оценки по шкале valence и dominance, напротив, находятся в диапазоне ниже медианы этой шкалы по всему списку слов (рисунок 12, рисунок 13). На диаграммах по оси Y расположены рейтинги соответствующих шкал, по оси X – порядковые номера слов, расположенных в порядке возрастания показателя по шкалам dominance и valence, в порядке убывания – по шкале arousal.

Рисунок 11. Оценки по шкале arousal для наименований болезней

Figure 11.Arousal scale scores for disease names

Рисунок 12. Оценки по шкале dominance для наименований болезней

Figure 12.Dominance scale scores for disease names

Рисунок 13. Оценки по шкале valence для наименований болезней

Figure 13.Valence scores for disease names

Группа заболеваний, передающихся половым путем, была оценена как одна из самых негативных, вызывающий активное проявление эмоций, ощущение слабости. Подобные выводы были сделаны и в рамках исследования английских слов (Warriner et al., 2013). Двумя самыми негативными словами в нашем исследовании являются единицы гонорея и сифилис (единицы получили одинаковый рейтинг – 1,167), самым негативным словом в англоязычном исследовании оказывается единица AIDS (СПИД). Самый высокий рейтинг по шкале valence по данным нашего опроса набрало два слова – оспа и диабет (у двух слов рейтинг 2,155). Самый высокий рейтинг в англоязычном исследовании у слова fever (лихорадка).

Болезнь, которая в большей степени вызывает тревогу, активное проявление эмоций, для русскоязычных информантов, – это сифилис (4,583), для англоязычных – schizophrenia (шизофрения). По данным проведенного нами опроса, 5 слов получили средний рейтинг: лейкемия, депрессия, склероз, герпес, биполярное расстройство. При этом в англоязычном исследовании такие слова, как leukemia (лейкемия), herpes (герпес), depression (депрессия) получили одни из высоких показателей по шкале arousal. Слово грипп по оценкам русскоязычных информантов получило рейтинг, указывающий на пассивное проявление эмоций при восприятии этого слова (2,25), данная болезнь получила самый низкий рейтинг по этой шкале. По оценкам англоязычных респондентов это слово также получило одно из самых низких показателей, но болезнью с самым низким рейтингом является fever (лихорадка). Однако русскоязычные пользователи оценили эту болезнь более высоким рейтингом, что указывает на высокое чувство тревоги при восприятии этого слова.

Болезнью, которая получила самый низкий рейтинг по шкале dominance, является гонорея (1,583), т.е. это слово вызывает и ощущение слабости, и очень негативные эмоции (по шкале valence). В англоязычном исследовании самый низкий рейтинг dominance получила лексема Alzheimer’s (болезнь Альцгеймера). Пять слов по оценкам русскоязычных пользователей получили средний рейтинг: лейкемия, гепатит, сердечно-сосудистые заболевания, герпес, депрессия. При этом, по данным англоязычных опросов hepatitis (гепетатит) and herpes (герпес) занимают примерно ту же позицию, что и по данным нашего опроса; однако leukemia (лейкемия) и д depression (депрессия), напротив, получили одни из самых низких рейтингов, т.е. указывающих на сильные ощущения слабости и подконтрольности. Словом, с самым высоким рейтингом в англоязычном исследовании является единица fever (лихорадка), которое по данным нашего опроса получило наиболее низкий рейтинг. В приложении 3 приводятся все наименования болезней, которые получили оценку, в аспекте сопоставления с результатами англоязычного исследования.

Итак, общая тенденция англоязычного и нашего исследования в оценках наименований болезней сохраняется, однако при этом отличаются сами оценки отдельных слов. На основе выявленной нами разницы возможно дальнейшее детальное исследование семантических особенностей слов данной тематической группы в сопоставительном аспекте, поскольку описанные выше различия могут быть, в первую очередь, связаны с многозначностью данных слов в обоих языках, с частотой употребления в определённых контекстах, что безусловно влияет на восприятие данных лексем. В таблице 13 представлены показатели корреляции между оценками названий болезней русскоязычных пользователей и англоязычных по трем шкалам VAD. Как видно, положительная, но слабая корреляционная связь выявлена только для оценок по шкале valence.

Таблица 13. Корреляция между оценками наименований болезней русскоязычных и англоязычных пользователей

Table 13. Correlation between evaluations of names

Заключение. В данном исследовании мы собрали рейтинги для 1000 слов по двум классическим параметрам Ч. Осгуда – dominance и arousal. Эти результаты дополняют уже собранные оценки по шкале valence.

Итак, получены следующие основные результаты:

1) Большая часть слов по шкалам arousal и dominance оценивалась средним показателем, который указывает на разброс оценок, что коррелирует с исследованиями, доказывающими гипотезу о большей вариативности в ответах по этим шкалам.

2) По трем шкалам реже всего встречались слова с низкими рейтингами, которые могут указывать на то, что а) слово вызывает пассивное проявление эмоций; б) слово вызывает ощущение слабости или подконтрольности; в) слово вызывает негативные эмоции. Таким образом, среди частотных слов русского языка больше таких, которые вызывают позитивные эмоции, активное проявление эмоций, ощущение силы и контроля. Эти результаты согласуются с выявленной тенденцией к большему количеству слов с позитивной окраской.

3) Слова, которые вызывают у человека как ощущение силы, контроля над ситуацией, так и ощущение слабости и подконтрольности, как правило, вызывают и ощущения, приближенные к интенсивному проявлению эмоций.

4) Как позитивные, так и негативные слова, как правило, вызывают, активное проявление эмоций.

5) Позитивные слова вызывают у людей ощущение контроля и силы, негативные –ощущение подконтрольности и слабости.

6) Не обнаружена весомая разница между ответами мужчин и женщин. Однако описанные слова с наибольшей разницей в ответах, которые по оценкам мужчин и женщин получили различные рейтинги, позволяют проводить дальнейшие исследования на выявление гендерных различий при восприятии слов разных семантических групп.

7) Названия болезней оценивались как слова, которые вызывают негативные чувства, активное проявление эмоций, ощущение слабости и подконтрольности. Данные выводы согласуются с результатами англоязычного исследования, однако выявлены отличия в оценках к отдельным словам, что указывает на разницу в отношении к наименованиям некоторых видов заболеваний между русскоязычными и англоязычными респондентами.

Таким образом, впервые для русского языка получены оценки по трем шкалам VAD к частотным словам. Данное исследование отвечает важной тенденции современных исследований: сбор большого набора количественных данных с помощью краудсорсинговых платформ, на основе которых возможно описать как психолингвистические и когнитивные особенности восприятия слов, так и только языковые особенности лексем определённых групп.

Результаты исследования достоверны и надежны, поскольку, во-первых, все полученные оценки проходили строгую проверку на соответствие правилам контроля качества; во-вторых, респондентам предлагались списки из небольшого количества слов – 50 (для сравнения, в рамках англоязычного подобного исследования информанты получали списки из 300 слов), что, безусловно, повлияло на качество прохождения опроса; в-третьих, мы использовали проверенную и апробированную на материале других языков методику сбора данных, инструкции к опросу также разрабатывались с учётом опыта коллег из других стран; в-четвертых, выявленная и описанная взаимосвязь между показателями трех шкал полностью коррелирует с результатами подобных исследований на материале других языков; в-пятых, все полученные оценки по отдельным словам имеют высокую степень согласованности, на что указывает незначительное стандартное отклонение по каждому слову.

Выражаем благодарность В.В. Бочкареву за помощь в подготовке тепловых карт.


[1] Ляшевская О. Н., Шаров С. А. Частотный словарь современного русского языка: на материалах Национального корпуса русского языка. М.: Словари.ру, 2015.

Список литературы

Вольская Ю. А. Специфика лексико-грамматических разрядов конкретности и абстрактности в русском языке: экспериментальный подход: дис. канд. филол. наук. Казань, 2024. 264 с.

Григорьев А. А., Пашнева С. А. Оценки по конкретности-абстрактности для 1200 слов русского языка // Теория языка и межкультурная коммуникация. 2022. № 3 (46). С. 33–72.

Малов А. А. Базы данных аффективных норм языка как способ систематизации аффективной лексики // Успехи современной науки. 2016. Т. 1. № 3. С. 141–148.

Марченко О. П. Психолингвистическая база данных для семантических категорий // Экспериментальная психология в России: традиции и перспективы: сборник материалов конференции. М.: Изд-во «Институт психологии РАН», 2010. С. 404–408.

Резанова З. И., Миклашевский З. И. Моделирование образно-перцептивного компонента языковой семантики при помощи психолингвистической базы данных // Вестник Томского государственного университета. Филология. 2016. № 5 (43). С. 71–92. DOI: 10.17223/19986645/43/6

Соловьев В. Д. Словарь русского языка с индексами конкретности/абстрактности / В. Д. Соловьев, Ю. А. Вольская, М. И. Андреева, А. А. Заикин // Russian Journal of Linguistics. 2022. Т. 26. № 2. С. 515–549. DOI: 10.22363/2687-0088-29475

Bellezza F. S., Greenwald A.G., Banaji M.R. Words high and low in pleasantness as rated by male and female college students // Behavior Research Methods, Instruments & Computers. 1986. Vol. 18. Pp. 299-303. DOI: 10.3758/BF03204403

Bonin P., Méot A., Bugaiska A. Concreteness norms for 1,659 French words: Relationships with other psycholinguistic variables and word recognition times // Behavior Research Methods. 2018. V. 50 (6). Pp. 2366–2387. DOI: 10.3758/s13428-018-1014-y

Bradley M. M., Lang P. J. Measuring emotion: The selfassessment manikin and the semantic differential // Journal of Behavioral Therapy and Experimental Psychiatry. 1994. Vol. 25. Pp. 49–59. DOI: 10.1016/0005-7916(94)90063-9

Bradley M. M., Lang P. J. Affective Norms for English Words (ANEW): Instruction Manual and Affective Ratings // Technical report C-1, the center for research in psychophysiology, University of Florida. 1999.

Brysbaert M., New B. Moving beyond Kučera and Francis: A critical evaluation of current word frequency norms and the introduction of a new and improved word frequency measure for American English // Behavior Research Methods. 2009. Vol. 41. Pp. 977–990. DOI: 10.3758/BRM.41.4.977

Brysbaert M., Warriner A. B., Kuperman V. Concreteness ratings for 40 thousand generally known English word lemmas // Behavior Research Methods. 2014. Vol. 46(3). Pp. 904–911. DOI: 10.3758/s13428-013-0403-5

Ćoso B. Affective and concreteness norms for 3,022 Croatian words / B. Ćoso, M. Guasch, P. Ferré, J. A. Hinojosa // Quarterly Journal of Experimental Psychology. 2019. Vol. 72 (9). Pp. 2302–2312. DOI: 10.1177/1747021819834226

Cronbach L.J. Coefficient alpha and the internal structure of tests // Psychometrika. 1951. Vol. 16. Pp. 297–334. DOI:10.1007/BF02310555

Duchon A. EsPal: One-stop shopping for Spanish word properties / A. Duchon, M. Perea, N. Sebastián-Gallés, A. Martí, M. Carreiras // Behavior Research Methods. 2013. Vol. 45. Pp. 1246–1258. DOI: 10.3758/s13428-013-0326-1

Gao C., Shinkareva S. V., Peelen M. V. Affective valence of words differentially affects visual and auditory word recognition // Journal of Experimental Psychology: General. 2022. Vol. 151 (9). Pp. 2144–2159. DOI: 10.1037/xge0001176

Guasch M., Ferré P., Fraga I. Spanish norms for affective and lexico-semantic variables for 1,400 words // Behavior Research Methods. 2016. Vol. 48 (4). Pp. 1358–1369. DOI: 10.3758/s13428-015-0684-y

Imbir K. K. Affective Norms for 4900 Polish Words Reload (ANPW_R): Assessments for valence, arousal, dominance, origin, significance, concreteness, imageability and, age of acquisition // Frontiers in Psychology. 2016. Vol. 7 (JUL). Pp. 1–18. DOI: 10.3389/fpsyg.2016.01081

Kousta S. T. The representation of abstract words: Why emotion matters / S. T. Kousta, G. Vigliocco, D. P. Vinson, M. Andrews, E. Del Campo // Journal of Experimental Psychology. General. 2011. Vol. 140. Pp. 14–34. DOI: 10.1037/a0021446

Kousta S. T., Vinson D. P., Vigliocco G. Emotion words, regardless of polarity, have a processing advantage over neutral words // Cognition. 2009. Vol. 112. Pp. 473–481. DOI: 10.1016/j.cognition.2009.06.007

Kuperman V., Stadthagen-Gonzalez H., Brysbaert M. Age-of-acquisition ratings for 30,000 English words // Behavior Research Methods. 2012. Vol. 44. Pp. 978–990. DOI: 10.3758/s13428-012-0210-4

Lahl O. Using the World-Wide web to obtain large-scale word norms: 190,212 ratings on a set of 2,654 German nouns / O. Lahl, A. S. Göritz, R. Pietrowsky, J. Rosenberg // Behavior Research Methods. 2009. Vol. 41 (1). Pp. 13–19. DOI: 10.3758/BRM.41.1.13

Likert R. A Technique for the Measurement of Attitudes // Archives of Psychology. 1932. Vol. 140. Pp. 1–55.

Marful A., Díez E., Fernandez A. Normative data for the 56 categories of Battig and Montague (1969) in Spanish // Behavior Research Methods. 2014. Vol. 47. Pp. 902–910. DOI: 10.3758/s13428-014-0513-8

Martín-Loeches M. The influence of emotional words on sentence processing: Electrophysiological and behavioral evidence / M. Martín-Loeches, A. Fernández, A. Schacht, W. Sommer, P. Casado, L. Jiménez-Ortega, S. Fondevila // Neuropsychologia. 2012. Vol. 50. Pp. 3262–3272.

Mehrabian A., Russell A. An approach to environmental psychology. 1974. Cambridge: M.I.T. Press. 288 p.

Mohammad S. M. Obtaining Reliable Human Ratings of Valence, Arousal, and Dominance for 20,000 English Words // Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. 2018. Vol. 1. Pp. 174–184. DOI: 10.18653/v1/P18-1017

Monnier C., Syssau A. Affective Norms for French Words (FAN) // Behavior Research Methods. 2013. Vol. 46 (4). Pp. 1128–1137. DOI: 10.3758/s13428-013-0431-1

Montefinese M. The adaptation of the Affective Norms for English Words (ANEW) for Italian / M. Montefinese, E. Ambrosini, B. Fairfield, N. Mammarella // Behavior Research Methods. 2013. Vol. 46 (3). Pp. 887–903. DOI: 10.3758/s13428-013-0405-3

Moors A. Norms of valence, arousal, dominance, and age of acquisition for 4,300 Dutch words / A. Moors, D. J. Houwer, D. Hermans, S. Wanmaker, Schie van K., A. Harmelen, M. Schryver, J. Winne, M. Brysbaert // Behavior Research Methods. 2012. Vol. 45. Pp. 169–177. DOI: 10.3758/s13428-012-0243-8

Osgood C. E., Suci G., Tannenbaum P. The measurement of meaning. Urbana IL: University of Illinois Press, 1957. 346 p.

Ponari M. Learning abstract words and concepts: Insights from developmental language disorder / M. Ponari, C. F. Norbury, A. Rotaru, A. Lenci, G. Vigliocco // Philosophical Transactions of the Royal Society B: Biological Sciences. 2018. Vol. 373 (1752). 20170140. DOI: 10.1098/rstb.2017.0140

Redondo J. The Spanish adaptation of ANEW (Affective Norms for English Words) / J. Redondo, I. Fraga, I. Padrón, M. Comesaña // Behavior Research Methods. 2007. Vol. 39. Pp. 600–605. DOI: 10.3758/BF03193031

Riegel M. Nencki Affective Word List (NAWL): the cultural adaptation of the Berlin Affective Word List–Reloaded (BAWL-R) for Polish / M. Riegel, M. Wierzba, M. Wypych, Ł Żurawski, K. Jednoróg, A. Grabowska, A. Marchewka // Behavior Research Methods. 2015. Vol. 47. Pp. 1222–1236. DOI: 10.3758/s13428-014-0552-1

Russell J. A. A circumplex model of affect // Journal of personality and social psychology. 1980. Vol. 39 (6). Pp. 1161–1178. DOI: 10.1037/h0077714

Soares A. P. The adaptation of the Affective Norms for English Words (ANEW) for European Portuguese / A. P. Soares, M. Comesaña, A. P. Pinheiro, A. Simões, C. S. Frade // Behavior Research Methods. 2012. Vol. 44. Pp. 256–269. DOI: 10.3758/s13428-011-0131-7

Solovyev V., Islamov M., Bayrasheva V. Dictionary with the evaluation of positivity/negativity degree of the Russian words // Lecture Notes in Computer Science. 2022. Vol. 13721. Pp. 651–664. DOI: 10.1007/978-3-031-20980-2_55

Speed L. J., Brysbaert M. Ratings of valence, arousal, happiness, anger, fear, sadness, disgust, and surprise for 24,000 Dutch words // Behavior Research Method. 2023. Vol. 56. Pp. 5023–5039. DOI: 10.3758/s13428-023-02239-6

Stadthagen-Gonzalez H. Norms of valence and arousal for 14,031 Spanish words / H. Stadthagen-Gonzalez, С. Imbault, M. A. Pérez Sánchez, M. Brysbaert // Behavior Research Methods. 2016. Vol. 49. Pp. 111–123. DOI: 10.3758/s13428-015-0700-2

Syssau A., Laxén J. L’influence de la richesse sémantique dans la reconnaissance visuelle des mots émotionnels // Canadian Journal of Experimental Psychology. 2012. Vol. 66. Pp. 70–78. DOI: 10.1037/a0027083

Van Overschelde J. P., Rawson K. A., Dunlosky J. Category norms: An updated and expanded version of the Battig and Montague (1969) norms // Journal of Memory and Language. 2004. Vol. 50. Pp. 289–335. DOI: 10.1016/j.jml.2003.10.003

Verona E., Sprague J., Sadeh N. Inhibitory control and negative emotional processing in psychopathy and antisocial personality disorder // Journal of Abnormal Psychology. 2012. Vol. 121. Pp. 498–510. DOI: 10.1037/a0025308

Vinson D., Ponari M., Vigliocco G. How does emotional content affect lexical processing? // Cognition and Emotion. 2014. Vol. 28 (4). Pp. 737–746. DOI: 10.1080/02699931.2013.851068

Võ M. L. H. The Berlin Affective Word List Reloaded (BAWL-R) / M.L.H. Võ, M. Conrad, L. Kuchinke, K. Urton, M.J. Hofmann, A. M. Jacobs // Behavior Research Methods. 2009. Vol. 41. Pp. 534–538. DOI: 10.3758/BRM.41.2.534

Warriner A. B., Kuperman V., Brysbaert M. Norms of valence, arousal, and dominance for 13,915 English lemmas // Behavior Research Methods. 2013. Vol. 45. Pp. 1191–1207. DOI: 10.3758/s13428-012-0314-x

Xu Xu, Li J., Chen H. Valence and arousal ratings for 11,310 simplified Chinese words // Behavior Research Methods. 2021. Vol. 54. Pp. 26–41. DOI: 10.3758/s13428-021-01607-4

Благодарности

Исследование выполнено за счет гранта Российского научного фонда № 24-18-00570, https://rscf.ru/project/24-18-00570/