🔴Как системно оценить качество предобработанных данных перед обучением большой языковой модели (LLM)
Перед тем как запускать дорогостоящий процесс обучения LLM, важно убедиться, что ваши данные чисты, релевантны и структурированы.
Оценка должна включать как количественные, так и качественные метрики.
➡️Количественные метрики:
😶Распределение токенов Проверьте, не доминируют ли специальные токены, мусорные фрагменты или нерелевантные конструкции. Ожидаемые токены (например, ключевые слова доменной области) должны иметь разумную частоту.
😶Покрытие словаря Оцените, насколько хорошо охвачены часто встречающиеся слова и сабворды в вашей предметной области. Можно использовать частотный анализ на корпусе.
😶Статистика по длине документов Сравните среднюю и медианную длину документов с ожидаемыми значениями. Аномально короткие или длинные тексты могут быть ошибками разметки или дубликатами.
😶Языковое распределение В мультиязычном корпусе важно убедиться, что каждый язык представлен в правильной пропорции. Используйте модель определения языка (например, fastText или langid.py).
➡️Качественные проверки:
😶Ручная выборка документов Просмотрите случайные примеры: содержимое должно быть осмысленным, без мусора, персональных данных или несоответствий тематике.
😶Проверка дубликатов и шаблонов Автоматически найдите повторяющиеся документы или шаблонные страницы (например, элементы веб-навигации).
😶Оценка перплексии на тестовой модели Можно применить небольшую предварительно обученную LLM к данным, чтобы вычислить перплексию. Высокая перплексия может сигнализировать о шуме или нерелевантности.
😶Автоматическое обнаружение аномалий Используйте кластеризацию или модели выявления аномалий, чтобы найти подозрительные группы документов.
🔴Как системно оценить качество предобработанных данных перед обучением большой языковой модели (LLM)
Перед тем как запускать дорогостоящий процесс обучения LLM, важно убедиться, что ваши данные чисты, релевантны и структурированы.
Оценка должна включать как количественные, так и качественные метрики.
➡️Количественные метрики:
😶Распределение токенов Проверьте, не доминируют ли специальные токены, мусорные фрагменты или нерелевантные конструкции. Ожидаемые токены (например, ключевые слова доменной области) должны иметь разумную частоту.
😶Покрытие словаря Оцените, насколько хорошо охвачены часто встречающиеся слова и сабворды в вашей предметной области. Можно использовать частотный анализ на корпусе.
😶Статистика по длине документов Сравните среднюю и медианную длину документов с ожидаемыми значениями. Аномально короткие или длинные тексты могут быть ошибками разметки или дубликатами.
😶Языковое распределение В мультиязычном корпусе важно убедиться, что каждый язык представлен в правильной пропорции. Используйте модель определения языка (например, fastText или langid.py).
➡️Качественные проверки:
😶Ручная выборка документов Просмотрите случайные примеры: содержимое должно быть осмысленным, без мусора, персональных данных или несоответствий тематике.
😶Проверка дубликатов и шаблонов Автоматически найдите повторяющиеся документы или шаблонные страницы (например, элементы веб-навигации).
😶Оценка перплексии на тестовой модели Можно применить небольшую предварительно обученную LLM к данным, чтобы вычислить перплексию. Высокая перплексия может сигнализировать о шуме или нерелевантности.
😶Автоматическое обнаружение аномалий Используйте кластеризацию или модели выявления аномалий, чтобы найти подозрительные группы документов.
The SUCK Channel on Telegram, with a message saying some content has been removed by the police. Photo: Telegram screenshot. Hashtags are a fast way to find the correct information on social media. To put your content out there, be sure to add hashtags to each post. We have two intelligent tips to give you: Ng Man-ho, a 27-year-old computer technician, was convicted last month of seven counts of incitement charges after he made use of the 100,000-member Chinese-language channel that he runs and manages to post "seditious messages," which had been shut down since August 2020. The channel also called on people to turn out for illegal assemblies and listed the things that participants should bring along with them, showing prior planning was in the works for riots. The messages also incited people to hurl toxic gas bombs at police and MTR stations, he added. How to create a business channel on Telegram? (Tutorial)
from us