В хабе MWS на Хабре — новые статьи от инженеров новой облачной платформы.

➡️ Сетевая телеметрия — от протоколов до внедрения

Трилогия от ведущего сетевого архитектора Бориса Хасанова — про современные подходы к телеметрии: сравниваем BFD, TWAMP и STAMP, разбираем архитектуру на gNMI, YANG и gRPC, показываем, как всё это работает в облаке MWS.

➡️ Как мы заливаем Kubernetes на голое железо и управляем десятками кластеров с одной точки

Tech Lead команды Kubernetes Operations, Research & Engineering Иван Гулаков делится, как мы управляем k8s-кластерами на bare metal.

➡️ Как мы строим IAM в MWS — от логина до сервисного агента

Tech Lead IAM-направления MWS Игорь Михайлюк рассказывает про нашу архитектуру контроля доступа и идентификации: от моделей ABAC и RBAC до HMAC-ключей и сервисных агентов.

➡️ Подход MWS к созданию сервиса Compute — декларативный API, реконсиляция и немного геймдева

Tech Product IaaS Родион Цалкин рассказывает, как устроено сердце облака — сервис Compute.

🔗 Подпишись на облачный хаб MWS
⏩️Там регулярно рассказываем, как строим новое облако с нуля.

Как создать платформу инференса LLM?

Кто-то ответит, что это просто. Достаточно взять модели с Hugging Face, использовать vLLM, и всё готово. Действительно, многие так начинают. Сложности появляются вместе со вторым vLLM-контейнером. Чем больше разрозненных сервисов, тем сложнее наладить их работу.

Скажем сразу, создание собственной платформы — это долгий и дорогостоящий процесс. Иногда проще и выгоднее вложиться в готовое решение. Например, MWS GPT имеет OpenAI‑совместимый API и SLA 99,95%, её можно адаптировать под ваши задачи.

Если же вы выбираете «простой» старт с vLLM и Hugging Face, будьте готовы создавать вспомогательную инфраструктуру с нуля. Вам предстоит добавить балансировщик (один или несколько), сделать кластеризацию моделей, наладить мониторинг на глубоком уровне… При этом любой бизнес требует минимизировать затраты.

Чтобы узнать больше, предлагаем вам посмотреть вебинар «Почему не стоит инвестировать 2 года в платформу инференса LLM?»

Спикеры — Павел Бабин, CPO MWS GPT, и Алсу Иовкова, менеджер продуктов MWS AI Services.


Запись доступна:
➡Вконтакте
➡YouTube