tgoop.com/turboproject/2235
Last Update:
Сегодня день научного фейерверка. Google выпустил публикацию в которой показал невероятные способности даже не SLM, а скорее что-то вроде Nano LM по анализу кода. Они создали Gemma всего на 300 миллионов параметров, но со специальной моделью токенизации под код как T5Gemma и большим обучением по кодовой базе.
Их целью было научить такую мелкую LM оценивать потребление памяти и времени выполнения для кода на Питоне.
По предсказанию потребления памяти для Питона корреляция достигла 0.930, т.е. практически идеальная.
Для задержек задача была сложной, как изучение кода для Triton ядер на NVIDIA A6000, но тем не менее корреляционный коэффициент 0.516.
Ранее такие же эксперименты делали на более крупных нейросетях с корреляциями значительно меньше.
О чем это все говорит? Это говорит о том, что программный код людей имеет некоторую "скрытую простоту" как высокоуровневые архитектурные паттерны, которую понимают специально обученные нейросети. В случае LLM можно также ожидать, что ИИ может вроде бы делать парадоксальные вещи - не очень понимать как код работает в деталях, но удивительно точно предсказывать его результирующее поведение.
Как это практически применить? Я думаю, что тут нужны дополнительные эксперименты, но скорее всего если у ИИ спросить оценку кода, но не запрашивать как раз CoT и "рационализацию", то ИИ может удивительно точно оценить его в каких-то аспектах, просто учуяв паттерны решений, который мы сами еще не понимаем до конца, а ИИ смог установить.
Больше доверяйте выводам GPT без объяснений, как ни странно, но когда вопрос именно категоризации и оценок как тут, чем меньше ИИ думает словами, а больше внутри скрытого состояния, тем лучше оценка. Я уже публиковал работу в канале на этот счет и она явно перекликается с этой.
https://arxiv.org/abs/2509.26476
BY AI Projects
Share with your friend now:
tgoop.com/turboproject/2235