Вопрос на $600 миллиардов для ИИ

Оригинал: https://www.sequoiacap.com/article/ais-600b-question/
Автор: Дэвид Кан
Опубликовано 20 июня 2024 года

В сентябре 2023 года я опубликовал статью "Вопрос на $200 миллиардов для ИИ". Цель этой статьи состояла в том, чтобы задать вопрос: "Где все доходы?"

В то время я заметил большой разрыв между ожидаемыми доходами, подразумеваемыми развертыванием инфраструктуры ИИ, и фактическим ростом доходов в экосистеме ИИ, что также является косвенным показателем ценности для конечного пользователя. Я описал это как "дыра в $125 миллиардов, которую нужно заполнить за каждый год капитальных затрат на сегодняшнем уровне".

На этой неделе Nvidia завершила свое восхождение, став самой дорогой компанией в мире. В течение нескольких недель до этого я получил множество запросов на обновленный анализ, лежащий в основе моих расчетов. Был ли решен или усугублен вопрос на $200 миллиардов для ИИ?

Если вы проведете этот анализ снова сегодня, вот результаты, которые вы получите: Вопрос на $200 миллиардов для ИИ теперь стал вопросом на $600 миллиардов.

Примечание: Легко напрямую рассчитать этот показатель. Все, что вам нужно сделать, это взять прогноз выручки Nvidia в годовом исчислении и умножить на 2x, чтобы отразить общую стоимость дата-центров ИИ (графические процессоры составляют половину от общей стоимости владения - другая половина включает энергию, здания, резервные генераторы и т.д.).1 Затем умножьте на 2х еще раз, чтобы отразить валовую маржу конечного пользователя графического процессора в размере 50% (например, стартапа или бизнеса, покупающего вычислительные мощности ИИ у Azure, AWS или GCP, которым также нужно зарабатывать деньги).

Что изменилось с сентября 2023 года?

1. Дефицит предложения уменьшился: конец 2023 года был пиком дефицита графических процессоров. Стартапы звонили венчурным капиталистам, звонили всем, кто бы с ними разговаривал, прося помощи в получении доступа к графическим процессорам. Сегодня эта проблема практически полностью устранена. Для большинства людей, с которыми я разговариваю, сейчас относительно легко получить графические процессоры в разумные сроки.

2. Запасы графических процессоров растут: Nvidia сообщила в четвертом квартале, что около половины выручки ее дата-центров поступило от крупных облачных провайдеров. Microsoft, вероятно, составила примерно 22% выручки Nvidia в 4 квартале. Капитальные затраты гиперскейлеров достигают исторического уровня. Эти инвестиции были главной темой отчетов о доходах Big Tech в 1 квартале 2024 года, когда генеральные директора фактически сказали рынку: "Мы будем инвестировать в графические процессоры, нравится вам это или нет". Накопление запасов оборудования - не новое явление, и катализатором перезагрузки станет то, что запасы станут достаточно большими, чтобы спрос снизился.

3. OpenAI по-прежнему имеет львиную долю доходов от ИИ: The Information недавно сообщила, что выручка OpenAI теперь составляет $3,4 млрд, по сравнению с $1,6 млрд в конце 2023 года. Хотя мы видели, что несколько стартапов увеличили выручку до <$100 млн, разрыв между OpenAI и всеми остальными продолжает оставаться огромным. Помимо ChatGPT, сколько продуктов ИИ действительно используют потребители сегодня? Подумайте, какую ценность вы получаете от Netflix за $15,49 в месяц или Spotify за $11,99. В долгосрочной перспективе компаниям ИИ потребуется предоставлять значительную ценность, чтобы потребители продолжали открывать свои кошельки.

4. Дыра в $125 миллиардов теперь стала дырой в $500 миллиардов: в последнем анализе я щедро предположил, что каждая из компаний Google, Microsoft, Apple и Meta сможет ежегодно генерировать $10 млрд новых доходов, связанных с ИИ. Я также предположил, что еще $5 млрд новых доходов от ИИ будет у Oracle, ByteDance, Alibaba, Tencent, X и Tesla. Даже если это останется в силе и мы добавим в список еще несколько компаний, дыра в $125 миллиардов теперь станет дырой в $500 миллиардов.

5. Это еще не конец - грядет B100: В начале этого года Nvidia анонсировала свой чип B100, который будет иметь в 2,5 раза лучшую производительность при увеличении стоимости всего на 25%. Я ожидаю, что это приведет к последнему всплеску спроса на чипы NVDA. B100 представляет собой резкое улучшение соотношения цены и производительности по сравнению с H100, и, вероятно, будет еще один дефицит поставок, поскольку все попытаются заполучить B100 позже в этом году.

Одним из основных возражений против моего последнего поста было то, что "капитальные затраты на графические процессоры похожи на строительство железных дорог", и в конечном итоге появятся поезда, а также пункты назначения - новый экспорт сельскохозяйственной продукции, парки развлечений, торговые центры и т.д. Я действительно согласен с этим, но я думаю, что есть несколько моментов, которые упускаются из виду:

* Отсутствие ценового влияния: в случае строительства физической инфраструктуры есть некоторая внутренняя ценность, связанная со строящейся инфраструктурой. Если вы владеете путями между Сан-Франциско и Лос-Анджелесом, у вас, вероятно, есть некоторое монопольное влияние на цены, потому что между пунктами А и Б может быть проложено только ограниченное количество путей. В случае дата-центров с графическими процессорами возможности влияния на цены гораздо меньше. Вычисления на графических процессорах все больше превращаются в товар, оплачиваемый по часам. В отличие от облака с центральными процессорами, которое стало олигополией, на рынок продолжают приходить новые участники, создающие специализированные ИИ-облака. При отсутствии монополии или олигополии в бизнесе с высокими постоянными затратами и низкими предельными затратами цены почти всегда снижаются до предельных затрат (например, авиакомпании).

* Сжигание инвестиций: даже в случае железных дорог - и в случае многих новых технологий - спекулятивные инвестиционные бумы часто приводят к высокому уровню сжигания капитала. "Двигатели, которые двигают рынки" - одна из лучших книг об инвестициях в технологии, и основной вывод - действительно, сосредоточенный на железных дорогах - заключается в том, что многие люди теряют много денег во время спекулятивных технологических волн. Трудно выбрать победителей, но гораздо легче выбрать проигравших (каналы в случае железных дорог).

* Амортизация: Мы знаем из истории технологий, что полупроводники имеют тенденцию становиться все лучше и лучше. Nvidia будет продолжать выпускать лучшие чипы следующего поколения, такие как B100. Это приведет к более быстрой амортизации чипов последнего поколения. Поскольку рынок недооценивает B100 и скорость, с которой будут улучшаться чипы следующего поколения, он переоценивает степень, в которой H100, купленные сегодня, сохранят свою стоимость через 3-4 года. Опять же, такой параллели не существует для физической инфраструктуры, которая не следует какой-либо кривой типа "закона Мура", при которой соотношение затрат и производительности постоянно улучшается.

* Победители и проигравшие: Я думаю, нам нужно внимательно посмотреть на победителей и проигравших - во время периодов избыточного строительства инфраструктуры всегда есть победители. ИИ, вероятно, станет следующей трансформирующей технологической волной, и, как я упоминал в последнем посте, снижение цен на вычисления на графических процессорах на самом деле хорошо для долгосрочных инноваций и хорошо для стартапов. Если мой прогноз сбудется, это нанесет ущерб в первую очередь инвесторам. Основатели и строители компаний продолжат создавать ИИ - и у них будет больше шансов добиться успеха, потому что они будут получать выгоду как от снижения затрат, так и от знаний, накопленных за этот период экспериментов.

ИИ создаст огромную экономическую ценность. Создатели компаний, ориентированных на предоставление ценности конечным пользователям, будут щедро вознаграждены. Мы переживаем то, что может стать определяющей технологической волной поколения. Такие компании, как Nvidia, заслуживают огромной похвалы за ту роль, которую они сыграли в обеспечении этого перехода, и, вероятно, будут играть критически важную роль в экосистеме в течение долгого времени.

Спекулятивные бумы являются частью технологий, поэтому их не следует бояться. У тех, кто сохраняет трезвость в этот момент, есть шанс построить чрезвычайно важные компании. Но мы должны постараться не поверить в заблуждение, которое теперь распространилось из Кремниевой долины на остальную часть страны и даже мира. Это заблуждение говорит о том, что мы все быстро разбогатеем, потому что AGI придет завтра, и нам всем нужно запасаться единственным ценным ресурсом - графическими процессорами.

На самом деле, путь впереди будет долгим. На нем будут взлеты и падения. Но почти наверняка он будет стоящим.

Я разочарован

Пафосно обьявили что мол будут 12 дней чет выкатывать и что? Что ценного показали OpenAI до этого момента?

НИ-ХЧЕ-ГО!

Я немножко упоролся и потестил новую модель o1 на моих задачах -- ну в основном это проектирование программных продуктов.
По моему сугубо субъективному мнению, что o1-preview как-то посерьезнее выдавал результаты. Я бы сказал, что сейчас o1 ближе к старому o1-mini.

Хор из твитера это подтверждает. Есть замеры, что банально o1 думает меньше чем o1-preview и все.
Есть мнение, что o1 pro (та самая, которая за 200 баксов) незначительно превосходит Claude.

В общем подписку за 200 не покупаю, продолжаю пользоваться Claude и Projects в Claude (абсолютно необходимая штука для меня теперь).

P.S. Также в интернетах говорят, что сейчас по замерам лучшая модель у гугла, который тихо и незаметно выпустил ее вчера. Попробую и отпишусь.

Gemini Exp 1206

Я попробовал эту модельку применительно к использованию прямо в написании кода.

У нее есть три примечательные особенности:
* По тестам она рвет всех, даже Claude Sonnet, который я использую в 95% случаев.
* 2М токенов можно в нее сувать
* доступна бесплатно

Пробовал на aider, потому что cursor еще не подсуетились добавить ее.

Общие впечатления -- восторг. Клод при заполнении контекста наполовину начинает немного "плыть", особенно на длинных генерациях, поэтому приходилось удалять файлы, добавлять только те, с которыми работаешь. С gemini ничего не приходится делать -- контекст на 50к ни разу не сбойнул, все работает корректно. Скорость генерации конечно очень низкая, но жить можно. Ниразу еще пока /undo не делал (если вы понимаете о чем я)

В общем пока тянет на 5 близнецов из 5.

P.S. Запускать вот так: aider --model gemini/gemini-exp-1206

Sor(a|ry)

Сегодня показали Sora (sora.com).

С её помощью можно генерировать целые видео на основании текстового промта. Проблемы есть -- неестественные движения, непонимание физики, странное поведение танцующих людей и животных.

Если кратко -- ничего интересного, конкуренты, кажется, уже сильно впереди.
Можно погенеририть кринж на sora.com с подпиской за 20$ (и ВПН если вы, как и я в Европе)
Делать это лучше всего через пару дней, пока основной наплыв пройдет.

Соре поставим 2 сори из 5.

P.S. https://aiff.runwayml.com/ -- вот что люди смогли сделать на технологиях годичной давности. Ждем Aiff 2025, должен быть разрыв.

Gemini 2.0

Окей, ОКЕЙ.

Да, я говорил, что гугл уже ни на что не способен. Да я смеялся над их маркетинговым переосмыслением бенчмарков моделей.
Но последнее время я пользуюсь двумя модельками для кодинга -- и это Gemini Pro и Gemini Flash Experimental. Результаты очень и очень положительные.

Сегодня гугл выпустил 2.0:
https://blog.google/technology/google-deepmind/google-gemini-ai-update-december-2024/#gemini-2-0

Я настроен очень позитивно. Помацаю отпишусь.

А тем временем

Люди

Ищут как

Оправдать

Потраченные $200

Вот почему я очень оптимистичен

Видео Реалтайм

Почти синхронно с разницей в один день OpenAI и Google выпустили то, что называется Realtime Video.

Идея следующая -- можно не только кидать картинки и разговаривать голосом, но и стримить видео, с камеры или с десктопа, чтобы он подсказывал что делать дальше.

Традиционно OpenAI потрогать нельзя из Европы -- у Google можно, поэтому я не заморачивался с VPNами.

Бесплатно тут: aistudio.google.com/live

Результат у гугла конечно сыроват, но работает. Голос звучит роботически, не так живо как у OpenAI, но что-то говорит. Текстовая расшифровка не такая точная как у OpenAI, но похоже, что эти ребята медленно запрягают, но поедут быстро.

Какие были (и есть) проблемы у всех этих реалтаймов -- пока им применение только вот так вот домашку делать по видео.

На одном из наших проектов мы реализовываем голосового ассистента и в наличии несколько слаборешаемых проблем, таких как качество, прерывания голоса и сложность в управлении этим ассистентом. Уверен, что все это поправят в следующих релизах, а пока:

6 трешстримов из 8.

ChatGPT Projects

Не прошло и полгода, и OpenAI с их 3 тыщами сотрудников зарелизили проекты (Projects), полностью скопировав с Claude.

Скопировали интерфейс, а вот подоход, похоже, скопировать не получилось. Сейчас объясню в чем дело:

Я работал так: открываю проект, закидываю изменившиеся файлы документации (в ChatGPT кстати это сделать сложнее), делаю новый чат и говорю какие изменения нужно сделать и прошу перегенерировать файл документации. В общем-то работало в 80% случаев. Иногда важные части пропадали из документов, но беглый взгляд позволял это увидеть и вернуть назад.

Как это делать в ChatGPT -- я не сильно понимаю. Он почему-то в упор не хочет обновлять документы, хочет делать только новые. В общем пока остаемся на Claude (и Google Gemini с некоторых пор)

В общем 6 упоротых продакт менеджеров из 10.

И вы тоже говорите...

Пока OpenAI с помпой релизит обновление поиска, которое даже комментировать не охота, давайте обсудим других единорогов.

Компания Klarna (https://klarna.com) заявила, что не нанимает больше людей, мол заменили всех AI. Я, если честно, таким вбросам не верю. Но интернет пошел обсуждать. Это ж интернет, ему дай чего нить невероятного пообсуждать.

Настоящая причина -- хорошая мина при плохой игре -- у компании серьезные финансовые проблемы (казалось бы откуда у финтеха могут быть финансовые проблемы кроме как от эффективного менеджмента). Поэтому нет наймов, а не потому что AI.

Реальная причина ненайма Klarna - хронические убытки и невозможность прокормить тот штат, который набрали.
Компания стоила $46В, сейчас - около 15.
Я работал в стартапе, который они купили на пике. Потом полностью распустили и закрыли.
Но конечно можно и нужно срубить маркетингового хайпа, выставив это как то, что Al всех заменил.

Veo2

Кстати у гугла новая Veo2. Прямо на странице хвастаются, что сильно лучше других, даже бьют Kling. Черипикнутые примеры на сайте действительно впечатляют. Но впечатляли и от соры. Посмотреть самому нельзя -- мол not available in your country.

https://deepmind.google/technologies/veo/veo-2/

Координаты

А вот есть у нас задачка -- найти на картинке какие-то предметы. Ну например текст, иконки, графики ну и так по мелочи. Картинку разрезать, распознать и пересобрать, например в html. Как сделать?

Ну понятно, что лучше взять YOLO (https://yolov8.com/) и не мучаться. Но если нужно сделать на коленке и быстро, а из подручных средств только OpenAI API, то можно сделать следующее:
- Положить полупрозрачную сетку поверх исходной картинки с пронумерованными ячейками
- Спросить модель в каких ячейках находится что
- Спросить ничего ли не упущено

Конечно тут влияет все -- размер сетки, прозрачность сетки, размер шрифта и так далее, но дело делается. Можно загуглить готовый код на python по ключевому слову gridgpt.

Я вижу тебя...

По мотивам одного из наших проектов. Представляете, залетаете вы на интервью по видеосвязи, принимаете соглашение на интервью, согласие на обработку личных данных, перед началом общаетесь с интервьювером, а он через некоторое время говорит: "Я вижу у вас учащенный пульс и давление высоковато. Вы сильно волнуетесь?"

Страшно? Сегодня это вполне реализуемый сценарий.

Как это возможно? Да достаточно просто -- наше лицо пульсирует во вполне различимом машиной диапазоне и можно эти пульсации снять с лица, посчитать и вот и будет сам пульс. По тому как быстро прибывают или убывают краски на лице можно понять давление. По optical flow (хз как это по-русски) можем понять частоту дыхания, сглатывания. Можем посмотреть на моргания, размер зрачков и движения головой.

Разбор стресса интервьюируемого не самая интересная задачка конечно, есть и другие по интереснее. Например телемедецина.

Плохо жить в эпоху перемен

Восточные люди считают, что жить в эпоху перемен это не круто.

Может и так, но другого таймлайна в наш таймлайн не завезли.

Сегодня OpenAI продемонстрировали то, что некоторые назвали "смертью программирования".

На скрине бенчмарк, который показывает сколько ELO набрала новая модель, а именно 2727. Она получается входит в топ 99.8% программистов на земле.

То, о чем умолчали это количество потраченного компъюта. На другом бенчмарке тратилось по 3500$ на задачу.

Ну то есть мы в точке, где компьютеры умеют программировать уже лучше людей, но это пока дорого. И пока только в лабораторных условиях.

2025 точно будет очень интересным.

Волшебник страны О3

Вот раньше как было -- запустил R&D, запустил софтверный продукт и продаешь его всем желающим. Экономически такая бизнес модель сильно отличалась от реального сектора тем, что стоимость копирования околонулевая. Ну то есть не нужно тратить деньги на то, чтобы произвести.

Ну вот OpenAI говорит -- стены никакой нет, просто для того чтобы занять наиболее оптимальные позиции, мы теперь будем тратить компьют не только во время тренировки, а еще во время генерации ответа.

В итоге один прогон ARC-AGI теста (который некоторые считают бесполезным) стоит 1.5M$.

Кажется, несмотря на всю браваду, мы действительно начинаем упираться в фундаментальные ограничения этого варианта ИИ. А что это значит для нас?

Кажется, что мы еще сохраним возможность работать на своих работах за компьютером по крайней мере на какое-то время =)

Кому сегодня нужно учиться обращаться с AI?

Сегодня на внутренней дискуссии, которая в основном касается программистов, мы обсуждали простой вопрос — кто может выиграть сейчас из за развития условного ChatGPT и подобных продуктов.

Исходные посылы какие:
- Работу сотрудников начального уровня эти инструменты могут подтянуть как минимум до среднего
- Работу сотрудников среднего уровня эти инструменты могут улучшить, позволив не застревать долго на какой то непонятной задаче
- Работу сотрудников высокого уровня эти инструменты значительно облегчают и экономят тучу времени при правильном использовании, самообучении и внедрению в рабочий процесс.

Но есть проблема, что шкала мотивации в освоении этих инструментов прямо обратная. Самый большой энтузиазм у сотрудников начального уровня. А синьоры только скрипят по поводу того, что мол часто ошибки и эти ошибки нужно искать.

Что делать?