tgoop.com/llm_under_hood/712
Last Update:
ERC3-PROD is live
(1) Призовой сompete-accuracy раунд продлится в сумме 3 часа. 10:40 CET - 13:40 CET. Последняя сессия с флагом compete_accuracy, которая была отправлена до deadline, идет в зачет. [1]
(2) До следующей недели длится extended round. Можно запускать сессии в любых категориях, и они пойдут в официальные leaderboards, которые будут опубликованы.
16 декабря в 9:00 CET его закрываем extended round, а в 10:00 CET будет reveal всех очков и leaderboards. Тогда же ERC3-PROD перейдет в публичный режим и будем показывать evals/scores на лету. Бенчмарки останутся, live leaderboards будут продолжать считаться.
А после 16 декабря будем неспешно собирать инсайты, разбирать аналитику и публиковать истории и кейсы топовых команд.
Платформа | Регистрация | Пример агента | Видео на русском
Кстати, регистрацию пока закрыли, но если кто-то еще хочет добавиться - напишите в комментарии, попрошу TimeToAct запустить заново. Либо добавлю регистрацию прямо на платформу.
Ваш, @llm_under_hood 🤗
[1] Не сессия с самым высоким accuracy, чтобы компании с кучей GPU/LLM credits не могли просто забрутфорсить лишние 5-10% accuracy.
BY LLM под капотом
Share with your friend now:
tgoop.com/llm_under_hood/712