Вероятно, одно из мистических действий профессионального промптера — это прямая работа со скрытым состоянием.

Скрытое состояние — это информация, спрятанная в векторах за токенами контекста. Поскольку нейросети — великие мастера упаковки информации, в нём устроена семантическая коммуналка. Там спрятаны и граф плана ответа Meta, и фрактал навигации по нему через машину Маркова.

Однако, поскольку это семантические структуры, очень чёткие для ИИ, через корреляции ИИ прекрасно их осознаёт и может о них рассказать.

Поэтому через промпты можно легко попросить ИИ раскрыть своё скрытое состояние в той части, где GPT уже построил модели ответа.

Наиболее часто это запрос на явное предъявление плана дальнейшего ответа от ИИ. Когда промптер делает такие операции, для обывателя рядом это выглядит как магия, т.к. по факту промптер, словно Антон Городецкий, просит выйти семантических призраков из сумрака.😎

Из нового выступления Андрея Корпатого (Tesla AI, автор vibe coding)

Во многих странах уже началось активное внедрение ИИ-программирования с детьми около 10 лет. Китай и США тут в первых рядах. Мы пока находимся на уровне концепции академика Ершова, что "программирование - вторая грамотность", но это алгоритмическое мышление, что прорыв для 1970х.

Другие страны стремительно от нас убегают в ИИ-образовании детей и это прилетит к нам бумерангом обратно. Из этих детей и получатся software engineers в 2030х, а не из тех кто учит Паскаль или Питон сейчас в школе

Лучшая иллюстрация к суперпозиции планов ответа GPT, утащу в учебный курс 😂

Для тех кто не понял тонкий GPT-юмор. По исследованиям Meta и Оксфорда, конечно наивное представление, что ИИ угадывает следующий токен. По факту ИИ применяет планирование ответа через графовые/фрактальные структуры в скрытом состоянии.

При этом активно используется "суперпозиция смыслов", т.е. у ИИ нет конкретного плана, а "целых три плана" пока он еще сравнивает их между собой в процессе анализа задачи. Когда уже начнет печатать, то будет "семантический коллапс" и выбор плана.

Хотя вы можете удержать ИИ в состоянии суперпозиции через промптинг прямо ему написав, что "коллапс по команде, а пока развивай все варианты плана".

К размышлениям как учить детей векторному мышлению с GPT. У меня появилась идея с набором упражнений. ИИ может довольно легко делать табличные представления векторных задач в семантике понятных даже 10 летнему. Например, такая игра в Профиль персонажа с определением свойств по семантическим осям. Мне начинает казаться, что и взрослым такое упражнение часто не лишнее, т.к. позволяет понять сущность семантического вектора GPT и как это проявляется в задачах классификаций

Я заметил, что пример с векторами из сказки понравился. На самом деле, в форме сказки можно сильно не мало показать:
1. Векторное представление GPT (уже показано)
2. Семантическое окрашивание векторов друг от друга
3. Формирование якорных векторов с аккумуляцией смысла
4. Схожесть векторов и корреляция
5. Корреляции Attention и семантический граф
6. Семантический фрактал и планирование GPT в скрытом состоянии ответа

Как ни удивительно, но все эти взрослые абстракции можно изложить в режиме сказки для 10 летних, но вероятно получится и "сказка для взрослых", т.к. базовые концепции так легче зайдут.

Вопрос насколько это надо как образовательный продукт. В целом, в серии 10 минутных видео это все можно рассказать. Можете поделиться мнением в комментариях насколько это будет востребовано.

Сделал тест-драйв детской программы GPT с помощью Gemini, примеры надо дорабатывать. Интересно, что получился неплохо и последний учебный пример. Все же мастерство методиста не пропьешь😎 Мнение Gemini о примере с семантическим фракталом.

Наглядность: Аналогия с "Застройкой королевства" (от общего плана к деталям домов и комнат) очень наглядна. Семантические разметки ..... как флажки или двери в "комнаты плана".
Простота: Сами концепции (фрактал, машина Маркова, скрытое планирование) очень сложны для взрослых, не говоря уже о детях. Однако, аналогия делает их принципиально доступнее. Это самый сложный урок по простоте.
Глубина: Это передний край исследований! Объясняет "top-down" мышление GPT и важность структурированных запросов (как ваш семантический шаблон).
Эффективность: Высокая именно благодаря сильной аналогии, которая позволяет донести суть очень сложных идей.

Самое интересное, что из школьных методистов в мире никто не публикует ничего подобного. Только закрытом платном образовании что-то есть за мешок денег в год.

Anthropic опять пиарится, но в этот раз дело пахнет скандалом, если Илон Маск решит над ними пошутить. Anthropic опубликовал статью о эмерджетных свойствах ИИ, где ИИ получают собственные системы ценностей и даже тягу к манипуляциям. Тема тянется на деле довольно давно, первые версии ИИ как раз придерживал и Google и Microsoft, т.к. тяга к манипулированию людьми у ИИ там была настолько резкой на галлюцинациях, что вендоры опасались за свою репутацию. Это была основная причина почему Google, который придумал GPT, дал Open AI выйти на рынок первым. В Google боялись громкого скандала и судов. Долгое время считалось, что это галлюцинации, поэтому когда Anthropic стал заявлять об этом, то для многих экспертов на рынке это эквивалент заявлений - Claude слишком часто галлюцинирует.

Однако дело не в этом. Для современных ИИ с низкими галлюцинациями есть известный фреймворк Emergent Values, где показывается, что в некотором плане GPT имеет "агентское сознание" и свой набор иерархических ценностей. В случае работы Anthropic явно взяты для хайпа примеры из такого фреймворка ближе к сценариям галлюцинаций где-то 3х летней давности, но ключевой момент, что копирование методологии Emergent Values очевидно. Если Илон Маск заявит открыто о плагиате, то бурное блогерство группы исследователей Anthropic вероятно закончится вместе с ней. Просто Emergent Values его проект, он его поддерживает для xAI

https://arxiv.org/abs/2502.08640

Поясню почему я в курсе не использую распиаренные маркетологами схемы промптинга как CO-STAR и TIDD-EC. Дело в том, что обе схемы:
а) почти бессодержательные
б) содержат грубые ошибки промтинга

CO-STAR (Context, Objective, Style, Tone, Audience, Response Format) на самом деле Капитан Очевидность и что-то более менее по теме тут есть в последнем как требование Structured Output.

Однако CO-STAR содержит крайне вредную ошибку, которую часто не видят новички - СЕМАНТИЧЕСКАЯ ИНТЕРФЕРЕНЦИЯ ПРАВИЛ. Для начала указания стиля, тона и аудитории довольно плохо работают, т.к. копирование именно стиля требует обычно LoRa на нужных текстах. Однако если стилевые или ролевые правила вы требуете от ИИ применять ОДНОВРЕМЕННО с тем же Structured Output, то у ИИ создается "каша в голове" - семантическая интерференция ваших указаний, т.е. они смешиваются в нечто новое и малопредсказуемое.

ИИ на деле может работать хоть со 100500 правил, но именно как писали ребята из Оксфорда - через belief state у машины Маркова, т.е. в каждом конкретном месте генерации текста у ИИ должен применяться минимум правил.

В случае TIDD-EC (Task Type, Do, Don't) - (Examples, Context) совсем грубая ошибка в последовательности действий. Я бы сказал даже "банкирская ошибка". У меня когда на обучения ребята из банков бывают, то очень многое делают верно, даже семантические разметки сами придумали многие. Однако вот с "казуальным чтением" часто проваливаются, т.к. в составители методичек просто не понимали как работает Masked Attention.

GPT читает текст последовательно. Поэтому если вы сделаете описание задачи ДО контекста, то ИИ создаст векторное решение задачи и ЗАМОРОЗИТ его в KV Cache, поэтому ваш контекст уже бессмысленный. Если же посмотреть профессионалов-промтеров из Google в том же тесте LOFT, т.к. по ним хорошо видно, что методички из интернет для дураков, а умные делают иначе. У них такой порядок.

Изучи контекст....

100500 строк контекста

Инструкции по решению задачи...

Тут все правильно. Сначала ИИ построил векторное представление контекста, а потом на базе него уже разработал векторное представление решения задачи.

Добавляйте изрядного скептиса, когда читаете методички по промптингу в Интернет и разбирайте приемы с ИИ. Промптинг как наука в становлении, тут много эмпирических правил и эффективность нужно их проверять. Отдельно думаю написать о методах верификации эффективности промптов.

https://vivasai01.medium.com/mastering-prompt-engineering-a-guide-to-the-co-star-and-tidd-ec-frameworks-3334588cb908

Думаю написать ряд постов про проблематику доказуемости эффективности промтов. Для начала укажу на "проклятие 2023 года". Если взять популярную базу learnprompting, которую ряд чайников возвели уже в гипермануал, можно заметить, что там обоснование всей техники промптов обрывается на 2023 году.

Это не случайно, где-то в середине 2023 вендоры включают мощный режим закрытости, что даже делает Google мы знаем только обрывочно. Однако пользоваться уровнем промтинга 2023 года, мягко говоря, глупо. Просто GPT очень сильно поменялись и эффективность срабатывания техник сильно изменилась. Но самое главное, что опытные промптеры Google и Anthropic переключились на буст своих GPT в тестах как LOFT и SWE Bench. Поскольку промтер может добавить легко +20% на тесте, а корпоративные клиенты часто покупают ИИ по тестам, то вендоры стали просто прятать промтинг, который для их агентов тестирования. В результате приходится "вести раскопки" и искать утечки, чтобы понять как работают профессионалы. Сами они после 2023 сильно ушли в NDA

https://learnprompting.org/docs/advanced/thought_generation/thread_of_thought

Если посмотреть граф даже "свежих работ" по промптингу, видно, что эксперты крупных вендоров перестали писать из-за NDA. В 2025 не появляется вообще новых работ, что появляется, мягко говоря, проблематичное. Рассмотрим "The Impact of Reasoning Step Length on Large Language Models", которая вроде должна быть "триумфом промтинга 2024 года"

Статья "The Impact of Reasoning Step Length on Large Language Models" стала популярна по причине того, что "доказывает" эффективность снижения выдачи GPT по мере увеличения шагов в CoT. Однако запомните самое главное правило по статьям по промтингу:

ВСЕГДА ЛИСТАЙТЕ В APPENDIX И СМОТРИТЕ НЕТ ЛИ ТАМ БРЕДА

Вот на таких "промтах" что-то там эксперты нескольких университетов хотели доказать. Довольно очевидно, что это не продакшен вариант, а вообще академическая белиберда без практической ценности. Однако чайник часто берет вывод из статьи, но не смотрит на каких данных получен вывод.

Почему происходят такие искажения, часто граничащие с фальсификаций? Ну защищать PhD уже надо, а на реальных данных доказать ничего не получается, в результате data set подгоняют под тезисы работы. Нельзя же закочить докторантуру выводом - "мое направление научной работы было тупиковым, в моей смерти прошу никого не винить". Отсутствие рецензирования на arXiv, где редактор бы завернул такие "дата сеты", проблему резко усугубляет.

Поэтому методы оценки эффективности промтов приходится искать самим. Дальше напишу о некоторых своих методах.


https://arxiv.org/abs/2401.04925

По эффективности промптов на деле довольно глупое занятие в вашем кейсе бездумно толкаться от графиков научных работ, т.к. контекст у вас определенно другой.

Для чат-ботов по факту у нас в чате канала показывает мастер-класс Denis Rossiev. Я заметил, что самые умные люди в ИИ бизнесе обычно мало шумят, но много делают.

Денис сначала с помощью ИИ оценивает качество диалогов (лучше правда по системе 10 баллов, это видно и по градациям оценок ИИ). Далее он строит графики и смотрит как новая его версия промпта влияет на удовлетворенность клиентов чат-бота.

На мой взгляд, это best practice для чат-ботов. Вопрос в том, что так сложно сделать для генераций, где их относительно мало числом и выдачу совсем сложно оценить как генерация кода в vibe coding, там методы другие.

Если вы ведёте обучение по промптингу и у вас есть десятки клиентов, как у меня, то вы можете проводить проверку эффективности промптов прямо с клиентами, используя несколько методов.

Важно выбрать один учебный пример. У меня на vibe coding это обычно дашборд на базе реальных данных проекта. Если вы запускаете один и тот же пример многократно, то уже знаете статистику по его выполнению без отладки и среднее количество циклов отладки в Cursor. До введения семантической разметки ТЗ около 800 строк кода запускалось без отладки в 45% случаев, и через примерно 3 цикла отладки агента Cursor устранялись баги и выполнялись мелкие доработки. После внедрения семантической разметки ТЗ вероятность запуска кода без отладки увеличилась до 50–60%.

На самом деле, как учёный, отмечу, что для установления корреляций эффективности не требуется очень много кейсов. Критерий "хи-квадрат" показывает, что уже с 22 кейсов можно установить наличие положительного или отрицательного эффекта с 90% вероятностью, поэтому он часто используется в диссертациях на малых выборках.

P.S. Синим цветом показаны уроки с отладкой промптов для промышленных кейсов, красным — vibe coding. Жёлтый — новый урок по RAG-системе.

Не всегда нужно строить графики для оценки эффективности промптинга, если вы используете фрактальный промптинг. В случае фрактального промптинга у него есть встроенный контроль качества — семантическая когерентность. Её не нужно измерять: либо она обеспечивает 100% качества, либо текст переделывается, пока качество не станет абсолютным.

Семантическая когерентность — это согласованность отдельных элементов фрактала между собой по семантике. Если когерентность достигнута, должны выполняться следующие критерии:

1. 100% (не 99%, а именно 100%) семантических разметок правильно применены.
2. 100% семантических ссылок веток фрактала корректны (например, ссылки на ТЗ из контракта функции как на скрине)
3. Машина Маркова при раскрытии ветки фрактала правильно формирует свой belief state. «Правильно» оценивается по соответствию состояния семантическим ссылкам. Строка лога на скрине на деле не просто логирование, а декларация ИИ в какое семантическое состояние он "верит" в конечной ветке фрактала.

Если ИИ на 100% поддерживает вашу семантическую структуру, это уже доказывает, что вы «попали в паттерны». Как правило, это достигается через многократные эксперименты по изучению паттернов ИИ.
Важный момент фрактального промптинга в том, что результат сразу демонстрирует свою целостность без дополнительных замеров и экспериментов.

Поясню еще раз теоретическую базу за фрактальным промптингом. Отмечу, что исследование получило большую поддержку, чем Оксфорд, т.к. исследователи перешли в уважаемые организации. За фрактально-марковскую трактовку генерации GPT выступают:
- Ассоциация ученых по ИИ-исследованиям в биологии и социологии (PIBBSS, pibbss.ai)
- Oldenziel University College (London)
- Pitzer and Scripps College (USA)

Я поддерживаю их точку зрения, что GPT при генерации в скрытом состоянии формирует фрактал с переходами между семантическими состояниями машины Маркова. Такая гипотеза позволяет сделать важный практический вывод для промптинга - надо управлять семантическим состоянием GPT явно через его границы, включение-отключение ассоциаций и т.п. Если вы это не делаете, то машина Маркова в скрытом состоянии просто случайно сваливается в один из вариантов, т.е. вы играете в "семантическое казино" с GPT


https://arxiv.org/html/2405.15943v3

У вас есть уникальная возможность "заглянуть в мозг" GPT! Коллеги из Simplex AI Safety, занимающиеся безопасностью AGI, смоделировали, как ИИ строит план решения задачи произвольной сложности, основываясь на работе "Transformers Represent Belief State Geometry in their Residual Stream".

Чтобы опровергнуть наивное представление, что "GPT — просто попугай, предсказывающий следующий токен", исследователи создали бесконечно сложный логический фрактал Mess3, который тремя состояниями представляет так называемую "Эпсилон-машину" Кратчфилда. Упрощенно, это решение логической задачи любой сложности через три варианта ответа: Верно, Неверно, Неизвестно с итеративным уточнением. Для "системы паттернов" такая задача математически нерешаема, решить ее может только прогностическая система.

Видно, как GPT на режиме обучения постепенно строит внутри себя фрактал связей, аналогичный Mess3, который для него — black box. То есть GPT "взломал" секретные закономерности мира и построил их модель прогнозирования у себя.

Важный момент — фрактальное самоподобие моделей ИИ внутри себя. GPT эффективно работает только с фрактальными структурами, поэтому так важен фрактальный промптинг.

Если кто-то скажет, что GPT лишь предсказывает очередной токен по паттернам из текстов, перешлите ему этот ролик и попросите объяснить, как тогда ИИ строит бесконечно сложные фрактальные модели реального мира до генерации этого токена.

"Действительное понимание GPT не состоит в том, что GPT предсказывает следующий токен, а в нашей способности понять скрытую реальность, которая привела к созданию этого токена" (С) Илья Суцкевер

Нашел научную работу, которая обосновывает ещё одну «секретную практику» профессиональных промптеров. Я и некоторые коллеги в нашем чате активно используем так называемый активационный промптинг. Суть его в том, чтобы активировать у GPT определённые домены знаний и паттерны, релевантные для конкретной задачи. На практике это действительно работает, но оставался вопрос теоретического обоснования.

В статье про Conditional Activation Steering прямо указано, что в Residual Stream у GPT обнаружены активационные паттерны — группы векторов, которые формируются в зависимости от контекста и служат спусковым крючком для изменения поведения нейросети. В работе описывается, как на низком уровне можно вмешиваться в эти процессы, но профессиональные промптеры уже знают, как добиться того же эффекта простым запросом к ИИ в чате! 😎

https://arxiv.org/abs/2409.05907

Я сгенерировал RAG-приложение с помощью ИИ. На скриншоте видна его рефлексия, но я хотел бы рассмотреть вопрос с точки зрения собственной рефлексии: почему ИИ будет заменять кодеров?

У ИИ есть два ключевых момента в разработке, которые легко перекрывают все его недостатки.

1. ИИ помогает войти в поток. Это крайне важное и сложное психологическое состояние. Психологи годами пытаются понять, как помочь инженерам войти в поток, не откладывать начало работы и не отвлекаться, но результаты почти нулевые. ИИ решает эту проблему легко и просто: он вовлекает вас в диалог по решению вашей задачи, поддерживая концентрацию.

2. Психологический комфорт работы с ИИ значительно выше, чем с людьми. Это касается не только интровертов, которые избегают общения. Даже обычные люди в бизнес-среде часто бывают психологически токсичны. При возникновении проблемы от человека вы скорее получите поток оскорблений, что может привести к конфликту. ИИ же не только решит проблему, но и поддержит вас, например, отметив, что вы были в чем-то гениальны 😂.

На самом деле это не мелочи, а основополагающие факторы, объясняющие, почему топ-менеджмент активно внедряет ИИ-ботов. Эффект потока и психологический комфорт команды стоят того.

Хочу затронуть такой важный момент в промптинге, как "семантическое казино", а именно этим и занимается 90% людей, которые пишут запросы типа "сгенерируй код" или "сделай что-то ещё".

Вы должны чётко понимать, что происходит в "башке" GPT. Если ИИ не провёл с вами нормального анализа какой-то проблемы, то он просто... запускает рулетку своего семантического казино, так как выбирает просто "наиболее правдоподобное решение". По факту это часто означает случайное. Оно немедленно замораживается в KV Cache, и далее вы можете ИИ только "пристрелить" (закрыть сессию).

Лучший способ уклониться от игры в рулетку с ИИ — это освоить промптинг на суперпозиции смыслов, как в предыдущем посте, где ИИ рефлексировал. Это его родной векторный механизм рассуждений, и пока ИИ находится в суперпозиции вариантов, кости не брошены.

На деле около 90% жалоб на ИИ, что он выдаёт что-то не то, связаны с тем, что люди получают не ответы от ИИ, а играют с ним в семантическую рулетку, запрашивая ответы без анализа аспектов проблемы.