MACHINELEARNING_INTERVIEW Telegram 1540
Forwarded from Machinelearning
🌟 Oumi: опСнсорс-Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° для LLM.

Oumi - открытая ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ° для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ, Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½Π°, ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΈ экспСримСнтов с языковыми ΠΈ ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ модСлями, созданная совмСстными усилиями исслСдоватСлСй ΠΈΠ· 13 Π²Π΅Π΄ΡƒΡ‰ΠΈΡ… унивСрситСтов.

Oumi прСдоставляСт инструмСнты ΠΈ Ρ€Π°Π±ΠΎΡ‡ΠΈΠ΅ процСссы для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ запуска ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… экспСримСнтов Π½Π° кластСрС, развСртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Ρ€Π°Π±ΠΎΡ‡Π΅ΠΉ срСдС ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ распрСдСлСнного обучСния (FSDP, DDP):

πŸŸ’ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΎΡ‚ 10M Π΄ΠΎ 405B ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ SFT, LoRA, QLoRA ΠΈ DPO;
πŸŸ’ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΡƒ популярных сСмСйств ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Llama, DeepSeek, Qwen ΠΈ Phi;
πŸŸ’ΡΠΈΠ½Ρ‚Π΅Π· ΠΈ ΠΊΡƒΡ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… с использованиСм LLM-judge;
πŸŸ’Π±Ρ‹ΡΡ‚Ρ€ΠΎΠ΅ Ρ€Π°Π·Π²Π΅Ρ€Ρ‚Ρ‹Π²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² срСдах vLLM ΠΈ SGLang;
πŸŸ’ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ комплСксного Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠΈΠ½Π³Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΏΠΎ стандартным тСстам;
πŸŸ’Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΏΠΎ API OpenAI, Anthropic ΠΈ Vertex AI;
πŸŸ’ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΡ с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ Transformers.

Π’ Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° собраны Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠΈ ΠΈ скрипты для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· этапов ΠΆΠΈΠ·Π½Π΅Π½Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Π° подробная докумСнтация ΠΏΠΎ использованию ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π»Π΅Π³ΠΊΠΎ ΠΎΡΠ²ΠΎΠΈΡ‚ΡŒ эту ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡƒ.

πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache 2.0 License.


πŸŸ‘Π‘Ρ‚Π°Ρ‚ΡŒΡ
πŸŸ‘Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸŸ‘Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
πŸ”₯7πŸ‘3❀2



tgoop.com/machinelearning_interview/1540
Create:
Last Update:

🌟 Oumi: опСнсорс-Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° для LLM.

Oumi - открытая ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ° для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ, Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½Π°, ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΈ экспСримСнтов с языковыми ΠΈ ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ модСлями, созданная совмСстными усилиями исслСдоватСлСй ΠΈΠ· 13 Π²Π΅Π΄ΡƒΡ‰ΠΈΡ… унивСрситСтов.

Oumi прСдоставляСт инструмСнты ΠΈ Ρ€Π°Π±ΠΎΡ‡ΠΈΠ΅ процСссы для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ запуска ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… экспСримСнтов Π½Π° кластСрС, развСртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Ρ€Π°Π±ΠΎΡ‡Π΅ΠΉ срСдС ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ распрСдСлСнного обучСния (FSDP, DDP):

πŸŸ’ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΎΡ‚ 10M Π΄ΠΎ 405B ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ SFT, LoRA, QLoRA ΠΈ DPO;
πŸŸ’ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΡƒ популярных сСмСйств ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Llama, DeepSeek, Qwen ΠΈ Phi;
πŸŸ’ΡΠΈΠ½Ρ‚Π΅Π· ΠΈ ΠΊΡƒΡ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… с использованиСм LLM-judge;
πŸŸ’Π±Ρ‹ΡΡ‚Ρ€ΠΎΠ΅ Ρ€Π°Π·Π²Π΅Ρ€Ρ‚Ρ‹Π²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² срСдах vLLM ΠΈ SGLang;
πŸŸ’ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ комплСксного Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠΈΠ½Π³Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΏΠΎ стандартным тСстам;
πŸŸ’Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΏΠΎ API OpenAI, Anthropic ΠΈ Vertex AI;
πŸŸ’ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΡ с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ Transformers.

Π’ Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° собраны Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠΈ ΠΈ скрипты для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· этапов ΠΆΠΈΠ·Π½Π΅Π½Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Π° подробная докумСнтация ΠΏΠΎ использованию ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π»Π΅Π³ΠΊΠΎ ΠΎΡΠ²ΠΎΠΈΡ‚ΡŒ эту ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡƒ.

πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache 2.0 License.


πŸŸ‘Π‘Ρ‚Π°Ρ‚ΡŒΡ
πŸŸ‘Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸŸ‘Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework

BY Machine learning Interview





Share with your friend now:
tgoop.com/machinelearning_interview/1540

View MORE
Open in Telegram


Telegram News

Date: |

In handing down the sentence yesterday, deputy judge Peter Hui Shiu-keung of the district court said that even if Ng did not post the messages, he cannot shirk responsibility as the owner and administrator of such a big group for allowing these messages that incite illegal behaviors to exist. Matt Hussey, editorial director at NEAR Protocol also responded to this news with β€œ#meIRL”. Just as you search β€œBear Market Screaming” in Telegram, you will see a Pepe frog yelling as the group’s featured image. The court said the defendant had also incited people to commit public nuisance, with messages calling on them to take part in rallies and demonstrations including at Hong Kong International Airport, to block roads and to paralyse the public transportation system. Various forms of protest promoted on the messaging platform included general strikes, lunchtime protests and silent sit-ins. Telegram is a leading cloud-based instant messages platform. It became popular in recent years for its privacy, speed, voice and video quality, and other unmatched features over its main competitor Whatsapp. The group’s featured image is of a Pepe frog yelling, often referred to as the β€œREEEEEEE” meme. Pepe the Frog was created back in 2005 by Matt Furie and has since become an internet symbol for meme culture and β€œdegen” culture.
from us


Telegram Machine learning Interview
FROM American