Neural Deep
Продолжаю свои тесты и вот удалось развернуть Qwen2-VL-72B-Instruct-FP8-dynamic на 4х4090 (на immers за 260к деревянных в месяц) с 16к токенами контекста и с не плохой скоростью Cейчас взял этот бенчмарк cmarkea/doc-vqa и упаковал тест в streamlit что бы…
Поменял датасет на вот этот
Добавил проверку ответа еще в один шаг LLM модератором
1) Скрин результаты
2) Скрин процесс следил за ним сразу в 3 терминала =)
Прогнал на обеих моделях по 250 вопросов из доступных 10к
Поставлю на ночь все тогда!
Какие еще VL модельки проверить на DocVQA?
Добавил проверку ответа еще в один шаг LLM модератором
1) Скрин результаты
2) Скрин процесс следил за ним сразу в 3 терминала =)
Прогнал на обеих моделях по 250 вопросов из доступных 10к
Поставлю на ночь все тогда!
Какие еще VL модельки проверить на DocVQA?
tgoop.com/neuraldeep/1258
Create:
Last Update:
Last Update:
Поменял датасет на вот этот
Добавил проверку ответа еще в один шаг LLM модератором
1) Скрин результаты
2) Скрин процесс следил за ним сразу в 3 терминала =)
Прогнал на обеих моделях по 250 вопросов из доступных 10к
Поставлю на ночь все тогда!
Какие еще VL модельки проверить на DocVQA?
Добавил проверку ответа еще в один шаг LLM модератором
1) Скрин результаты
2) Скрин процесс следил за ним сразу в 3 терминала =)
Прогнал на обеих моделях по 250 вопросов из доступных 10к
Поставлю на ночь все тогда!
Какие еще VL модельки проверить на DocVQA?
BY Neural Deep
Share with your friend now:
tgoop.com/neuraldeep/1258