tgoop.com/vibe_coding_channel/270
Last Update:
Как заставить модель писать как вы?
Как вы помните, у меня есть домашний сервер на Mac Studio, с локальными моделями и n8n. На нем я экспериментирую со всякими SMM штуками, типа аналитики и формирования мнений. Самая большая сложность в задачах автоматизации постинга в социальных сетях (в Telegram я практически всегда пишу сам!) - это чтобы модель писала то, что ты хочешь, и так как ты хочешь. А именно придерживалась твоего tone of voice, и не писала чушь от твоего лица.
Небольшое отступление, немного юмора.
Экспериментировал с негативными комментариями в Threads* о вайб-кодинге, с целью изменить мнение в отношении этого направления. Пробовал разные локальные модели типа, gemma3, phi3, и другие. И промпт был какой-то простой, типа "переубеди собеседника в том, что вайб-кодинг - это просто инструмент, которым нужно научится правильно пользоваться".
Завайбкодил chrome extension для автопостинга комментариев от своего аккаунта, была уже ночь, и я пошел спать, думая что эта штука не работает. Утром обнаружил обратное. Получил несколько подписчиков. Начал читать, что там модели напридумывали. И это был кринж.
Пришлось все чистить. Но самый прикол был с одним комментарием, где "я" вдруг вспомнил какой-то проигранный в Нью-Йорке суд из-за вайб-кодинга. Но и это не самое смешное. На той стороне тоже оказался бот, который стал оправдываться, почему он проиграл тот суд 😂
Короче, меня ситуация не устроила, я пошел работать над промптами, экспериментировать с моделями и параметрами. Начал я с моего любимого инструмента генерации промптов от Anthropic. И вот что я "нащупал".
Чтобы заставить модель говорить как ты, нужно дать ей примеры твоей ествественной речи, например:
The tone of voice for your message should follow this example:
<tone_of_voice>
Копируем сюда пару десяток сообщений из чатов tg, которые отражают твоей естественный стиль и тон общения. Чем разнообразнее, тем лучше.
</tone_of_voice>
Чтобы заставить модель говорить что ты хочешь, нужно дать ей базу знаний. Тут я бы не шел в сторону RAG, хотя можно и так. Лично я для себя просто тезисно в системном промпте сформулировал всё то важное, что я посчитал нужно знать начинающим о вайб-кодинге.
When crafting your response, consider the following knowledge base:
<knowledges>
### Про себя:
- ...
### Про вайб-кодинг:
- ...
### Про Vibe Coding Community
- ...
### Про дебаггинг:
- ...
### Про промпты:
- ...
### Про безопасность:
- ...
</knowledges>
Но на промптах ничего не заканчивается, разные модели по разному влияют на результат и слушаются инструкций. Для креатива размышляющие модели не очень подходят, поэтому из неразмышляющих локально у меня стояли только gemma3 и phi4. Gemma3 показывала неплохой результат, но очень уж формальный. Phi4 был чуть хуже, и иногда менял язык.
Потом я нашел на сайте ollama, что 3 недели назад вышла mistral-small3.2 на 24 миллиарда параметров, и решил попробовать. И получил нормальный живой результат, осмысленные ответы основанные на базе знаний. Но не постоянные. И тут я понял свою ошибку. Когда промпт был простой, типа придумай аргументы, там нужна была температура 1.0-1.2, для большей креативности. Но промпт с базой знаний подразумевает четкое следование этой базе, и тут решающим стало изменение температуры с 1.2 на 0.6. Модель стала стабильно неплохо выдавать результат, за который в целом было не стыдно.
В конце хотел спросить: "а кто-то вообще пользуется Threads?", но подумал что лучше закончить фразой: "Threads - социальная сеть от запрещенной в России организации".