Изучение диалектов позволяет составить представление о культуре и истории народа, которые находят отражение в лексике языка. Диалектная лексика отличается от нормативной как значением, так и произношением, способами словопроизводства и грамматической структурой, прежде всего морфологией. Подобные закономерности характерны и для архангельских говоров. Цель исследования – разработать классификатор диалектных слов, который поможет выделить диалектные слова в конкретном заданном тексте и отнести их к одной из заранее определенных категорий. Новизна исследования состоит в том, что в настоящее время отсутствует автоматизированная система для классификации диалектизмов, основанная на материалах архангельских говоров. В статье описывается разработка нейронных сетей для идентификации и классификации диалектных слов, извлеченных из диалектных текстов, которые были собраны во время диалектологических практик, проводившихся с 1960-х годов по настоящее время; сравниваются архитектуры LSTM (Long Short-Term Memory, нейронная сеть с долгосрочной кратковременной памятью) и CNN (Convolutional Neural Network, свёрточная нейронная сеть). Нейронная сеть обучается на малом количестве материала, что является одним из основных ограничений в задаче классификации диалектных слов. Чтобы обойти эти ограничения, исследуется возможность использовать биграммный подход кодирования слов в дополнение к униграммному. Обученная модель, показавшая наилучшие результаты, встроена в разрабатываемое приложение для обработки и анализа диалектизмов. Для этой модели была построена матрица ошибок, согласно которой лучше всего распознаются слова из словообразовательной категории, хуже всего – из лексической.
The study of dialects provides an opportunity to gain an understanding of the culture and history of a people, which are reflected in language. Dialectal vocabulary differs from standard vocabulary in terms of both meaning and pronunciation, as well as word formation and grammatical structures, primarily in morphology. Similar patterns can also be observed in the Arkhangelsk dialects. The aim of this paper is to develop a dialect words classifier, which can be used to identify dialect words within a given text and categorize them into one of the pre-defined groups. The novelty of this research lies in the lack of an automated system for classifying dialect words based on Arkhangelsk dialect materials. The article describes the development of a neural network for dialect words identification and classification. Dialect words were identified from dialect texts gathered during dialectological research conducted between the 1960s and the present day. LSTM (long short-term memory) and CNN (convolutional neural network) architectures are compared. One of the main challenges in the task of dialect word classification is that the neural network is trained using a limited amount of data. To overcome these limitations, we are investigating the possibility of using a bigram-based approach in addition to the unigram-based words encoding. A trained model that demonstrated the best results was integrated into our application for dialect words processing and analysis. Confusion matrix was constructed for the best model which demonstrates the highest performance for the derivational class and the lowest for the lexical class.
Исследование выполнено при финансовой поддержке Российского научного фонда № 23-28-01380, «Тематический словарь архангельских говоров с электронной поддержкой» (https://rscf.ru/project/23-28-01380/).