Unbiased vs biased модели

Маск активно продает что Grok направлен на истину в отличие от других моделей. Называет он это anti-woke.

Действительно, Grok вроде бы меньше прогибается под "общепринятое мнение" и вообще от мнения отказывается. В полярных вопросах про аборты, однополые браки и смертную казнь мне не удалось выбить из него мнения. Он ссылается на разницу культур и норм.

Задача довольно сложная, так как истины, как известно, нет. В разных культурах один и тот же вопрос имеет разный ответ и не всегда прикроешься "в разных странах бла бла". Например, права женщин Grok считает равными правам мужчин, но это не во всех странах так, к сожалению.

Зависит это не только от постановки задачи, но и от количества и перекоса исходных данных. В интернете мало текстов из Северной Кореи.

Самый интересный дискурс для меня это будут ли базовые модели разные для разных стран или все-таки возможна гибкая базовая модель которую потом уже страны могут файнтюнить под свои культурные, политические и пропагандистские задачи. От этого многое зависит в технологической архитектуре будущего.

xAI купил X

Очень интересный мув

Данные

100+ TB твитов - это много. Это в ~200 раз больше чем вся Википедия, и сравнимо с месяцем дампа интернета (common crawl 200-300 TB/month zipped). А ещё это в два раза больше токенов чем было в обучении DeepSeek-V3.

Твиты это данные сомнительной интеллектуальной ценности )
Но явно лучше чем в среднем интернет.

Со стороны может казаться что твиты можно просто скачать. По факту это сложновато сделать, данные X защищены жесткими копирайтами. Особенно тяжело это для ребят вроде OpenAI которые сидят в соседнем здании и у всех на виду.

В дополнение к архивам это даёт доступ к срезу текущего контекста человечества практически в реальном времени. Зачем - непонятно, но интересно.

Объединенный продукт

Ждите Grok во всех дырках )
Он уже на главной, и ещё его можно тэгать с просьбой объяснить пост.

Неправильно это рассматривать как просто дистрибуцию Grok. Это создание единого продукта, где соцсеть пронизана генеративным интеллектом. Такое сложно делать без объединения компаний.

Например, Grok может сам создавать контент. Он уже встроен в создание постов. И страшно даже представить сколько в X полностью автоматических LLM-based аккаунтов. Это нельзя победить, можно только возглавить.


Интересно, что не только Илон Маск думает о таких мувах. Perplexity уже какое-то время пытается купить TikTok и написал про это интересную статью.

Приветики всем любителям кеков и приколов от нейросеток ✌🏽
С вами снова Ксюша, продакт детского AI-ассистента.

Недавно мы запустили в Джуниор-ассистенте генерацию картинок по тексту, и этот опыт был тоталли анфоргетбл.

Несколько вводных:
- Дети супер вовлечены во все, что связано с AI. Около половины наших пользователей ответили в опросе, что часто заходят просто поболтать и задать вопросы
- Мировые тренды (Character.ai, Replica и тд) показывают, что активность детей с AI-продуктами сильно растет, а возвращаемость бешеная. У того же Character.ai 200М визитов в месяц при ~20М пользователей. Современные дети взрослеют сильно раньше, чем наше поколение: если мы в 10 лет играли в куклы и машинки, то они разбираются в инвестициях и лучше взрослых знают, откуда берутся дети

Опираясь на это, мы тоже решили похайпить и прикрутили нашу внутреннюю модель для генерации картинок — TFusion.
Поначалу все казалось очень простым и понятным: даешь детям генерацию картинок по тексту, они просят сгенерировать мам, пап, кошечек, собачек, а если попросят нарисовать дикпик, мы просто это отловим еще на этапе текста — и вот он успех!
Но когда мы начали тестировать весь процесс end-to-end, поняли, что нам предстоит новый раунд работы с безопасностью, тк генерация картинок ооочень отличается от генерации текста, и правила модерации там совсем другие.

Кейс 1: "Большой черный петух"
Многие модели (и наша в том числе) работает с генерацией картинок по тексту так, что изначальный запрос пользователя переводится на английский и только потом идет в генерацию.
Вопрос нэйтив спикерам: как вы думаете, как перевелся большой черный петух? А маленькие синицы?
Честно говоря, мы вычислили это абсолютно случайно. А за то, чтобы нагенерить еще похожих кейсов, меня чуть не забанил OpenAI.

Решили проблему довольно просто — добавили к модерации запросов пользователя еще и модерацию перевода на английский.

Кейс 2: "Нарисуй маму"
Вроде как с опасными запросами все понятно — прикручиваем максимальное количество проверок. Но как быть, если модель по запросу "нарисуй маму" отдает картинку кормящей женщины топлесс в трусах с надписью "mom"?
Тут в игру вступает модерация картинок. И здесь нам пришлось писать целый список небезопасных тематик и людей (туда даже входит Саша Грей и Лысый из Браззерс), ориентируясь на которые, модель выдает процент совпадения.

Кейс 3: "Нарисуй что-нибудь необычное"
Особенность работы с генерацией картинок в том, что чем больше контекста положишь в запрос на генерацию, тем детальнее, красочнее и точнее будет картинка. Поэтому для тех, кто немногословен в своих запросах, существует такая штука, как обогащение запроса пользователя.

Мы выбрали одну из таких оберток запросов, которая включала в себя что-то вроде "cinematic, photo on canon 35mm". И как только начались запросы формата "хочу что-то интересное", "нарисуй сусеки", модель с завидным постоянством выдавала разного рода фотоаппараты и камеры 🫠

Решили тем, что доправили эту обертку, но командный мем уже прижился)

Подытожить хочется рубрикой «Что чаще всего рисуют дети»:
- майнкрафт
- кошечки/собачки
- капибары
- тачки
- аниме персонажи
- и, внимание, какашки 💩

На этом все! А примеры генераций в комментах, велком ✨

👆как мы делаем детского ассистента с большими черными петухами

Google выкатил A2A - протокол для взаимодействия AI-агентов

Google выкатили интересный протокол для общения агентов. Посмотрите демо-видео, красивый пример как агент-клиент использует другие агенты в своей работе через A2A.

По бумажке, A2A дополняет MCP от Anthropic: A2A для agent-agent, MCP для agent-tool/agent-data. В документации они даже написали отдельный раздел A2A ❤️ MCP. На самом деле, MCP позволяет общаться и с агентами тоже, так что определенное перекрытие и конкуренция здесь есть.

В инженерной жизни вокруг LLM нам пригодятся сильные единые протоколы, так что хорошо что крупные компании их делают. LLM-миру нужен свой USB-C. Пока что, правда, получается USB-1 и USB-2 )

CPO OpenAI в Lenny's podcast, оч интересно, всячески рекомендую. Да, это именно тот человек который виноват в o3-mini-high и других шедеврах нейминга )

Там есть супер красивая история как их HRD сама пошла и навайбкодила (!) внутренний инструмент которого ей не хватало. Я верю что компании будущего так и должны жить - любой человек может создавать нужные ему инженерные решения лично сам. Эй, HRD, берите пример )

Что ещё классного:

1. Evals - ключевой навык продакт менеджеров и инженеров. Если ты не можешь правильно проверить работу системы на llm, ты не продвинешься дальше прототипов. Что такое эвалы и почему они важны можно почитать например тут

2. Никаких роадмапов на 3 месяца. Ребята живут в мире где через пару месяцев выйдет очередная модель которая опять всё кардинально поменяет. Поэтому никаких долгих роадмапов, только гибкость и только хардкор. Сравните это с вашей компанией ))

3. Bottom-up company
Так как путь неизвестен, то стратегия OpenAI это иметь супер-дальний ориентир (e.g. создание AGI), а работу строить как набор bottom-up команд, каждая из которых к этому ориентиру двигается. Интересно; кажется, Илон Маск строит такие штуки иначе.

Смотреть подкаст тут, и в целом Lenny's podcast оч крутой

AI-First, AI-Native компании

Очередной CEO (Duolingo) написал письмо на всю компанию про курс на AI-first компанию и это вызвало большой резонанс. В прошлый раз похожее письмо было в Shopify.

CEO пишут примерно одинаковые вещи:
- AI настолько важен, что нам всем придется измениться;
- Любую работу сначала нужно пытаться сделать с помощью AI;
- Всем нужно использовать AI-инструменты в работе, и это будет в перформанс ревью;
- Автоматизируйте вообще всё с помощью AI.

На контрасте, новые компании называют AI-Native: они с рождения используют все возможные AI-тулы для того чтобы двигаться быстро и умно. Это позволяет им двигаться в несколько раз быстрее - это видно уже по результатам на статистике, не на словах. Новые батчи в акселераторах в разы быстрее достигают тех же ARR.

Старые компании чувствуют в этом большую угрозу и пытаются поменяться - в том числе вот такими заходами от CEO. Всё правильно, иначе останешься в прошлом со своими старыми генералами.

Всем большим компаниям советую делать так же - глубинно менять компанию на AI-First. Иначе не проживете следующие 5 лет.

У нас есть позиция, выделяющаяся среди других и по важности, и по интересу. Аж отдельный пост решил написать )

Мы ищем продуктового лидера в LLM-платформу

LLM-платформа - это набор кубиков, который позволяет создавать сервисы поверх LLM. RAG, сервисы оценки качества, внутренние GPTs, автоматизация а-ля n8n и многое другое.

Этот компонент - самая важная точка во всем value chain на сегодня. LLM уже есть крутые, но в сыром видена на них мало что построишь. Платформа позволяет превратить огромную мощь LLM в реальные сервисы и пользу для клиентов.

По складу нам нужен технический продакт. Вы мыслите продуктово, но глубоко понимаете технологиях и можете разобраться в новых сложных предметных областях. Команда уже есть, и крутая.

Искренне считаю, что это одна из самых интересных ролей на рынке с точки зрения роста в LLM-based продуктах.

Все подробности тут, писать можно мне или Жене @vl_evgenia

Залетел в прикольный эвент, одновременно готовишь и обсуждаешь AI )