Навигация по пространству репозиториев из Hugging Face.
Хорошее и наглядное представление знаний это уже почти полностью сделанная работа по аналитике. И ощущение, что в DL не хватает мета-обзоров всей индустрии с поиском глобальных трендов, а также разработкой структуры и систематизации знаний о разных подходах и их вариациях.
В работе Charting and Navigating Hugging Face’s Model Atlas представляют атлас - визуализацию пространства моделей из 63к репозиториев в Hugging Face. Атлас строится как направленный ациклический граф, где вершины - модели. Цвет вершин определяется трансформацией, заданной ребрами. Трансформация - это техника получения из одной модели другую. Всего 4 типа трансформаций: fine-tuning; квантизация; merge - несколько родительских моделей комбинируются в новую через операции над весами; adapter - добавление обучаемого набора весов для адаптации модели под новые задачи (LoRA).
Атлас покрывает области NLP, CV и Audio. В каждой области несколько компонент связности, в центре которых исходные base-model, такие как Llama3, CLIP, ViT, SD-2 итд.
После анализа атласа прослеживаются следующие тенденции:
1. В NLP (особенно для LLM) наблюдается большая глубина (до 5-hop) и структурная сложность графа, тогда как в CV графы менее глубокие (1-2 вершины) и более гомогенные по типу вершин в кластере. То есть, в NLP исходные модели итеративно дорабатывают и модифицируют, всё дальше отходя от исходной модели, последовательно её улучшая, а в CV модифицируют сразу исходные модели.
2. Квантизация широко распространено среди LLM, но практически не используется для CV (менее 0,15%). Размеры даже крупных генеративных моделей для изображений, например Flux, по-прежнему сильно меньше даже средних LLM.
3. Фиксируется чёткое разделение между генеративными и дискриминативными CV моделями по техникам дообучения. Классификаторы чаще файнтюнят, а генеративные модели (SD, Flux) всё чаще используют адаптеры, типа LoRA.
4. В NLP merge моделей встречается в 35 раз чаще, чем в CV.
Авторы отдельно подчеркивают проблему недостатка мета-инфы (только в 15% есть инфа о точности) в репозиториях и предлагают способ восстановления инфы о точности модели на основе усредненной точности по всем репозиториям-соседям.
самому погулять по пространству моделей и позалипать можно с помощью их инструмента Model-Atlas
В общем, хочется больше красивых визуализаций и инсайдов о трендах и паттернах на большом масштабе для всего DL.
Хорошее и наглядное представление знаний это уже почти полностью сделанная работа по аналитике. И ощущение, что в DL не хватает мета-обзоров всей индустрии с поиском глобальных трендов, а также разработкой структуры и систематизации знаний о разных подходах и их вариациях.
В работе Charting and Navigating Hugging Face’s Model Atlas представляют атлас - визуализацию пространства моделей из 63к репозиториев в Hugging Face. Атлас строится как направленный ациклический граф, где вершины - модели. Цвет вершин определяется трансформацией, заданной ребрами. Трансформация - это техника получения из одной модели другую. Всего 4 типа трансформаций: fine-tuning; квантизация; merge - несколько родительских моделей комбинируются в новую через операции над весами; adapter - добавление обучаемого набора весов для адаптации модели под новые задачи (LoRA).
Атлас покрывает области NLP, CV и Audio. В каждой области несколько компонент связности, в центре которых исходные base-model, такие как Llama3, CLIP, ViT, SD-2 итд.
После анализа атласа прослеживаются следующие тенденции:
1. В NLP (особенно для LLM) наблюдается большая глубина (до 5-hop) и структурная сложность графа, тогда как в CV графы менее глубокие (1-2 вершины) и более гомогенные по типу вершин в кластере. То есть, в NLP исходные модели итеративно дорабатывают и модифицируют, всё дальше отходя от исходной модели, последовательно её улучшая, а в CV модифицируют сразу исходные модели.
2. Квантизация широко распространено среди LLM, но практически не используется для CV (менее 0,15%). Размеры даже крупных генеративных моделей для изображений, например Flux, по-прежнему сильно меньше даже средних LLM.
3. Фиксируется чёткое разделение между генеративными и дискриминативными CV моделями по техникам дообучения. Классификаторы чаще файнтюнят, а генеративные модели (SD, Flux) всё чаще используют адаптеры, типа LoRA.
4. В NLP merge моделей встречается в 35 раз чаще, чем в CV.
Авторы отдельно подчеркивают проблему недостатка мета-инфы (только в 15% есть инфа о точности) в репозиториях и предлагают способ восстановления инфы о точности модели на основе усредненной точности по всем репозиториям-соседям.
самому погулять по пространству моделей и позалипать можно с помощью их инструмента Model-Atlas
В общем, хочется больше красивых визуализаций и инсайдов о трендах и паттернах на большом масштабе для всего DL.
tgoop.com/junkyardmathml/195
Create:
Last Update:
Last Update:
Навигация по пространству репозиториев из Hugging Face.
Хорошее и наглядное представление знаний это уже почти полностью сделанная работа по аналитике. И ощущение, что в DL не хватает мета-обзоров всей индустрии с поиском глобальных трендов, а также разработкой структуры и систематизации знаний о разных подходах и их вариациях.
В работе Charting and Navigating Hugging Face’s Model Atlas представляют атлас - визуализацию пространства моделей из 63к репозиториев в Hugging Face. Атлас строится как направленный ациклический граф, где вершины - модели. Цвет вершин определяется трансформацией, заданной ребрами. Трансформация - это техника получения из одной модели другую. Всего 4 типа трансформаций: fine-tuning; квантизация; merge - несколько родительских моделей комбинируются в новую через операции над весами; adapter - добавление обучаемого набора весов для адаптации модели под новые задачи (LoRA).
Атлас покрывает области NLP, CV и Audio. В каждой области несколько компонент связности, в центре которых исходные base-model, такие как Llama3, CLIP, ViT, SD-2 итд.
После анализа атласа прослеживаются следующие тенденции:
1. В NLP (особенно для LLM) наблюдается большая глубина (до 5-hop) и структурная сложность графа, тогда как в CV графы менее глубокие (1-2 вершины) и более гомогенные по типу вершин в кластере. То есть, в NLP исходные модели итеративно дорабатывают и модифицируют, всё дальше отходя от исходной модели, последовательно её улучшая, а в CV модифицируют сразу исходные модели.
2. Квантизация широко распространено среди LLM, но практически не используется для CV (менее 0,15%). Размеры даже крупных генеративных моделей для изображений, например Flux, по-прежнему сильно меньше даже средних LLM.
3. Фиксируется чёткое разделение между генеративными и дискриминативными CV моделями по техникам дообучения. Классификаторы чаще файнтюнят, а генеративные модели (SD, Flux) всё чаще используют адаптеры, типа LoRA.
4. В NLP merge моделей встречается в 35 раз чаще, чем в CV.
Авторы отдельно подчеркивают проблему недостатка мета-инфы (только в 15% есть инфа о точности) в репозиториях и предлагают способ восстановления инфы о точности модели на основе усредненной точности по всем репозиториям-соседям.
самому погулять по пространству моделей и позалипать можно с помощью их инструмента Model-Atlas
В общем, хочется больше красивых визуализаций и инсайдов о трендах и паттернах на большом масштабе для всего DL.
Хорошее и наглядное представление знаний это уже почти полностью сделанная работа по аналитике. И ощущение, что в DL не хватает мета-обзоров всей индустрии с поиском глобальных трендов, а также разработкой структуры и систематизации знаний о разных подходах и их вариациях.
В работе Charting and Navigating Hugging Face’s Model Atlas представляют атлас - визуализацию пространства моделей из 63к репозиториев в Hugging Face. Атлас строится как направленный ациклический граф, где вершины - модели. Цвет вершин определяется трансформацией, заданной ребрами. Трансформация - это техника получения из одной модели другую. Всего 4 типа трансформаций: fine-tuning; квантизация; merge - несколько родительских моделей комбинируются в новую через операции над весами; adapter - добавление обучаемого набора весов для адаптации модели под новые задачи (LoRA).
Атлас покрывает области NLP, CV и Audio. В каждой области несколько компонент связности, в центре которых исходные base-model, такие как Llama3, CLIP, ViT, SD-2 итд.
После анализа атласа прослеживаются следующие тенденции:
1. В NLP (особенно для LLM) наблюдается большая глубина (до 5-hop) и структурная сложность графа, тогда как в CV графы менее глубокие (1-2 вершины) и более гомогенные по типу вершин в кластере. То есть, в NLP исходные модели итеративно дорабатывают и модифицируют, всё дальше отходя от исходной модели, последовательно её улучшая, а в CV модифицируют сразу исходные модели.
2. Квантизация широко распространено среди LLM, но практически не используется для CV (менее 0,15%). Размеры даже крупных генеративных моделей для изображений, например Flux, по-прежнему сильно меньше даже средних LLM.
3. Фиксируется чёткое разделение между генеративными и дискриминативными CV моделями по техникам дообучения. Классификаторы чаще файнтюнят, а генеративные модели (SD, Flux) всё чаще используют адаптеры, типа LoRA.
4. В NLP merge моделей встречается в 35 раз чаще, чем в CV.
Авторы отдельно подчеркивают проблему недостатка мета-инфы (только в 15% есть инфа о точности) в репозиториях и предлагают способ восстановления инфы о точности модели на основе усредненной точности по всем репозиториям-соседям.
самому погулять по пространству моделей и позалипать можно с помощью их инструмента Model-Atlas
В общем, хочется больше красивых визуализаций и инсайдов о трендах и паттернах на большом масштабе для всего DL.
BY Math and ML stuff
Share with your friend now:
tgoop.com/junkyardmathml/195