Анализ данных (Data analysis)

🧠 DataTune — простой способ оптимизировать датасеты для ИИ

Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей.

Что делает DataTune:
▪ Автоматически находит и удаляет дубликаты
▪ Фильтрует нерелевантные, шумные и некачественные примеры
▪ Сортирует данные по «ценности» — оставляя то, что реально важно
▪ Работает с любыми текстовыми коллекциями (JSONL, TXT, HuggingFace Datasets)

🛠 Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для:
• Fine-tuning LLM
• Подготовки eval-наборов
• Фильтрации перед RAG

📦 Установка:

pip install datatune

https://github.com/vitalops/datatune

@data_analysis_ml

www.tgoop.com/data_analysis_ml/3627

4.4K viewsedited  Jun 4 at 10:19

🧠 DataTune — простой способ оптимизировать датасеты для ИИ

Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей.

Что делает DataTune:
▪ Автоматически находит и удаляет дубликаты
▪ Фильтрует нерелевантные, шумные и некачественные примеры
▪ Сортирует данные по «ценности» — оставляя то, что реально важно
▪ Работает с любыми текстовыми коллекциями (JSONL, TXT, HuggingFace Datasets)

🛠 Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для:
• Fine-tuning LLM
• Подготовки eval-наборов
• Фильтрации перед RAG

📦 Установка:

pip install datatune

BY Анализ данных (Data analysis)