Уникальная нейросетевая модель, способная понимать сложную грамматику калмыцкого языка, разработана Викторией Кукановой и Абиной Кукановой, учеными КалмНЦ РАН. Этот цифровой инструмент может стать ключом к сохранению и развитию языка, относящегося к исчезающим.

Впервые для калмыцкого языка, обладающего богатой и сложной агглютинативной морфологией, создан анализатор на основе глубокого обучения. В отличие от традиционных для малых языков методов, новая система не нуждается в ручном составлении правил. Она самостоятельно учится определять начальные формы слов и весь набор их грамматических характеристик (падеж, число, время и др.) прямо в контексте предложения.

Научная проблема заключается в том, что для калмыцкого языка практически нет готовых цифровых решений, как для английского или русского. А предложенная модель обходит это ограничение, используя знания, полученные из других языков, через архитектуру XLM-RoBERTa, и адаптируя их под специфику калмыцкого.

Система использует остроумный подход: вместо того чтобы генерировать лемму (словарную форму) с нуля, она предсказывает минимальный набор правок — какие буквы нужно добавить, удалить или изменить в слове, чтобы получить его исходную форму. Это повышает точность и эффективность работы с языками, где слова могут сильно видоизменяться за счёт добавления множества суффиксов.

Разработка велась на сравнительно небольшом размеченном корпусе текстов — около 2500 предложений. Несмотря на небольшую базу данных, модель показала результаты, превосходящие альтернативные подходы.

Исследователи КалмНЦ РАН отмечают, что это не просто академический эксперимент, а основа для будущих технологий: от умного поиска в цифровых архивах калмыцкого фольклора до обучающих приложений для детей и проверки орфографии. В свою очередь алгоритм помогает создать базовый инфраструктурный элемент для цифровизации языка.

Исследование выполнено при поддержке гранта Российского научного фонда. Разработанная методика в перспективе может быть применена и для других малоресурсных и исчезающих языков России, нуждающихся в цифровом инструментарии для своего сохранения в современном мире.

Таким образом, нейросеть ученых Калмыцкого научного центра РАН открывает новую страницу не только в компьютерной лингвистике, но и в практике сохранения языкового наследия, давая технологический ответ на вызовы времени.