o1 рассуждения

TLDR;
- Новая модель OpenAI мне понравилась, но не для повседневных задач.
- С квантовой физикой не справилась.
- Для такой модели критически важна среда, чтобы у нее была возможность закрыть цикл: эксперимент - результаты - анализ


Недавно у OpenAI вышла модель, которая способна очень круто рассуждать. Мне стало интересно, насколько она действительно лучше 4o. Провел два теста:

1. План тренировок
2. Доделать формулу из моей последней статьи по квантовой физики

Из плюсов, новую модель вообще не нужно промптить - она за тебя лучше знает, как ей думать и действовать. Вопрос теперь не в том, каким образом ты промптишь модель, а какие данные ты ей даешь. Никогда такого не было, и вот опять: данные - нефть 21 века.

План

Я тут после годового перерыва решил вернуться в зал (после тренировки понял, что это то, чего мне очень не хватало) и попросил составить новую версию gpt план по моему восстановлению. Постарался описать все как можно более подробнее, чтобы получился максимально эффективный и персонализированный план.

Я планирую начать ходить в зал, у меня был большой перерыв - целый год, до этого постоянно занимался месяцев 6. Из физических активностей сейчас только бегаю. Напиши мне план упражнений в зале для восстановления формы на все тело. Хочу заниматься примерно час на занятие и 3 раза в неделю.

💡o1

Мне не понравилось, что она с самого начала предложила план по группам мышц. Когда не занимался больше года, то тактика это не особо эффективная: стоит делать core тренировки на все тело месяц-два, а затем уже переходить на отдельные мышцы. После того, как я ей это сказал, то она быстро все поняла и составила план, который я изначально и хотел делать. Все понравилось, но со второй попытки.

Чат

🤨 4o

Закинул такой же промпт, и она почему-то решила мне ответить на английском, ну ладно. Но зато подобрала такой же сет на все тело с первого раза.

Чат

Вывод: Ризонинг и установка у o1 "пиши как можно детальнее" может мешать в последневных задачах. Ну да, модель то не для этого вообще делалась. Перейдем к реальной проверке.


Квантовая физика

Чат

Основная идея моей статьи в том, что квантовые случайные блуждания в симметричных фигурах можно симулировать на фигурах меньших размерностей. Например, куб можно симулировать на линии и потом восстановить однозначно вероятности блужданий на кубе. Проблема была в том, что я так и не нашел общей формулы для этой свертки - обнаружил какие-то частные случаи для решетки, куба и гиперциклов, нашел какие-то паттерны, но красивую формулу для всего так и не вывел.

Если коротко, то он не справился 🙂. В o1 нельзя кидать файлы, поэтому попросил 4o сделать выжимку статьи и отправил это в o1. Он очень много писал, нашел какую-то общую формулу - я это все прочитал, звучит логично, но не работает. Искать ошибку в логике было лень, поэтому я попросил рассчитать по его формуле свертки для некоторых фигур... Симметрию, может, он определил верно, но проблема в том, что на этих фигурах потом не восстановишь однозначно вероятности оригинального графа.

Чего не хватило

- Знаний?

Область, конечно, довольно специфичная. Не знаю, насколько эта модель хороша в хренении знаний и есть ли там внутрениий RAG, но как будто, если отправить вместе со своим запросом еще пару книжек и статей по квантовой физике, то выйдет лучше.

- Агентности?

Очень хочется посмотреть на эту модель в среде, где она могла бы самостоятельно писать код и запускать его. Формула не та? Это сложно проверить, пока не провести эксперимент. Я не пробовал, но очень интересно, что будет, если закинуть результаты и данные по ответам, которые модель дает. Так или иначе, людям тоже сложно сделать что-то с первой попытки. Особенно в разработке: пишешь код - тестируешь - переписываешь. Это циклический процесс.