Warning: file_put_contents(aCache/aDaily/post/ozon_tech/-1334-1335-1336-1337-1338-1339-1340-1334-): Failed to open stream: No space left on device in /var/www/tgoop/post.php on line 50 Ozon Tech@ozon_tech P.1336
К нам пришёл пользователь с DSL-конфигом, желающий выполнить задачу на удалённом кластере Hadoop. Из конфига мы сформировали spark-submit команду, которая отправляет наш mlp-entrypoint скрипт в кластер Hadoop в подготовленном zip-архиве. Сам скрипт мы положили рядом с conda pack архивами пользователей.
⚠️ Но что-то пошло не так.
Привет, это Денис Ваньков, руководитель группы «ML платформа». На поддержке у моей команды есть два продукта. ✅ Python-пакет, который избавляет DS-разработчиков от ручного формирования spark-submit команды и даёт полезные инструменты внутри Spark-приложения. ✅ Веб-интерфейс, который изолирует от пользователя настройки и интеграции с кластером Hadoop, берёт на себя ответственность за отправку задач в кластер и предоставляет UI для мониторинга состояния задачи.
Давайте представим ситуацию: наш Python-сервис едет на Python 3.8 и к нам приходит пользователь с conda pack и зависимостями, собранными под Python 3.10 и обратно несовместимыми с нашим Python-пакетом.
Как мы пофиксили эту проблему, смотрите в карточках ⬆️
К нам пришёл пользователь с DSL-конфигом, желающий выполнить задачу на удалённом кластере Hadoop. Из конфига мы сформировали spark-submit команду, которая отправляет наш mlp-entrypoint скрипт в кластер Hadoop в подготовленном zip-архиве. Сам скрипт мы положили рядом с conda pack архивами пользователей.
⚠️ Но что-то пошло не так.
Привет, это Денис Ваньков, руководитель группы «ML платформа». На поддержке у моей команды есть два продукта. ✅ Python-пакет, который избавляет DS-разработчиков от ручного формирования spark-submit команды и даёт полезные инструменты внутри Spark-приложения. ✅ Веб-интерфейс, который изолирует от пользователя настройки и интеграции с кластером Hadoop, берёт на себя ответственность за отправку задач в кластер и предоставляет UI для мониторинга состояния задачи.
Давайте представим ситуацию: наш Python-сервис едет на Python 3.8 и к нам приходит пользователь с conda pack и зависимостями, собранными под Python 3.10 и обратно несовместимыми с нашим Python-пакетом.
Как мы пофиксили эту проблему, смотрите в карточках ⬆️
The SUCK Channel on Telegram, with a message saying some content has been removed by the police. Photo: Telegram screenshot. Informative Done! Now you’re the proud owner of a Telegram channel. The next step is to set up and customize your channel. Image: Telegram. To delete a channel with over 1,000 subscribers, you need to contact user support
from us
