Анализ данных (Data analysis)

📌 Как быстро запустить Llama 4 за 10 минут

Если вы хотите попробовать новую Llama 4 Scout (п вот краткое руководство:

▪ Вам нужна машина с четырьмя H100 на сервисе (пример под hyperbolic, вы можете арендовать в другом месте https://app.hyperbolic.xyz/compute)
▪ Подключитесь по SSH к серверу и запустите в терминале:

>> sudo apt-get update && sudo apt-get install -y python3-pip
>> pip install -U vllm
>> pip install -U "huggingface_hub[cli]"

▪ Запустите Llama 4 с помощью vllm:

>> vllm serve meta-llama/Llama-4-Scout-17B-16E-Instruct --tensor-parallel-size 4 --max-model-len 10000

▪ Проверьте работу модели, открыв новый терминал и выполнив запрос:

>> curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "meta-llama/Llama-4-Scout-17B-16E-Instruct",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "What can I do in SF?"}
        ]
    }

Всего несколько команд и вы получите локально развернутую модель Llama 4 Scout и сможете работать с ней.

Please open Telegram to view this post

VIEW IN TELEGRAM

👍10🔥8❤4

www.tgoop.com/data_analysis_ml/3417

5.12K viewsApr 6 at 08:53

📌 Как быстро запустить Llama 4 за 10 минут

Если вы хотите попробовать новую Llama 4 Scout (п вот краткое руководство:

▪ Вам нужна машина с четырьмя H100 на сервисе (пример под hyperbolic, вы можете арендовать в другом месте https://app.hyperbolic.xyz/compute)
▪ Подключитесь по SSH к серверу и запустите в терминале:

>> sudo apt-get update && sudo apt-get install -y python3-pip
>> pip install -U vllm
>> pip install -U "huggingface_hub[cli]"

>> vllm serve meta-llama/Llama-4-Scout-17B-16E-Instruct --tensor-parallel-size 4 --max-model-len 10000

>> curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "meta-llama/Llama-4-Scout-17B-16E-Instruct",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "What can I do in SF?"}
        ]
    }