Портреты слов, тональность и морфемный разбор: что теперь умеет НКРЯ с помощью нейросетей и NLP-библиотек

Национальный корпус русского языка (НКРЯ) уже давно не просто «собрание» репрезентативных текстов — это огромный комбайн из инструментов для исследования языка. И конечно, в эпоху нейросетевого бума в НКРЯ добавляются новые инструменты на основе нейросетей. Рассказываем коротко о современных технологиях под капотом самого авторитетного русского корпуса:

👯‍♀️ Похожие слова
Инструмент «Портрет слова» показывает лексемы, которые часто встречаются в похожих контекстах. Это не только синонимы, но и антонимы, слова из одной тематической области и др. Основой служит технология word2vec, а модели обучены для каждого корпуса отдельно — можно наблюдать, как ассоциаты слова меняются от «Русской классики» до корпуса СМИ.

🧬 Морфологическая разметка
Каждое слово в корпусе снабжено леммой, частью речи и грамматическими признаками (время, падеж, число и т.п.). Омонимия снимается автоматически, а вся информация подгружается прямо при клике на слово. В основе — модель Rubic, использующая RuBERT и PyMorphy2.

🏗️ Морфемный разбор
НКРЯ теперь умеет делить слова на приставки, корни и суффиксы. Причем для разных подкорпусов используются разные подходы: школьный (Тихонов) и академический (Кузнецова и Ефремова). Работают и словарные, и нейросетевые методы — в том числе собственная модель НейроКРЯ🦆 на базе сверточных нейронных сетей.

😡 Анализ тональности
В корпусе соцсетей каждое сообщение снабжено автоматической меткой: положительное, отрицательное или неопределенное. В основе — модель RuRoBERTa, обученная на датасете RuSentiment и размеченных вручную текстах. При поиске можно отфильтровать тексты по тональности.

🏷️ Ключевые слова
В корпусе Региональных СМИ к каждому тексту автоматически подбираются теги. Это помогает находить публикации по темам (например, «Пушкин» + «театр») и формировать подкорпусы по интересам. Извлечение реализовано через библиотеку RuTermExtract с рядом тонких настроек.

👉 Подробнее со скриншотами и ссылками — в полной версии статьи 📌

🤖 «Системный Блокъ» @sysblok

Друзья! Цыплят по осени считают, помните❓
Самое время для нового марафона слов под названием «Слово года»! Предлагайте свой вариант главного (нового!) слова уходящего года в комментариях, а мы торжественно обещаем:

1️⃣ выбирать только среди новых слов, пришедших в речь в последние два-три года, а также среди слов, которые приобрели новое значение;

2️⃣ проверить (по всем доступным нам метрикам и не только), что слово получило широкое применение: его можно услышать не только в маленькой компании друзей или в профессиональной среде, но и на улице, на радио, в соцсетях, — всюду;

3️⃣ подготовить выбранному слову года — 2025 толкование от лингвистов Грамоты и показать его в метасловаре: пусть победитель обретёт свой первый (лексикографический) дом и будет радовать всех закреплённым написанием!

📝 Итак, сбор слов года объявляется открытым! Добавляем слова в список номинантов до 23 сентября. Самые популярные из предложенных войдут в лонг-лист Грамоты.

#Грамота_словогода