Нейронный Кот@neural_cat P.62

Warning: mkdir(): No space left on device in /var/www/tgoop/post.php on line 37

Warning: file_put_contents(aCache/aDaily/post/neural_cat/--): Failed to open stream: No such file or directory in /var/www/tgoop/post.php on line 50
Нейронный Кот@neural_cat P.62

NEURAL_CAT Telegram 62

Нейронный Кот

⚡️ GPT-3.5 Fine-tuning

OpenAI объявили, что теперь можно дообучать GPT-3.5 (a.k.a. ChatGPT). GPT4 можно будет дообучать уже этой осенью.

😀 Проблема: API OpenAI плохо работает на моем домене и prompt engineering не помогает. Также не помогает few-shot prompting

🦈 Решение: дообучить модель OpenAI на своем домене

Шаг 1. Собираем датасет в multi-turn формате (system prompt, user, assistant)
Шаг 2. Тулой OpenAI загружаем данные на их серваки (они утверждают, что эти данные ими никак не будут использоваться)
Шаг 3. Выбираем количество эпох
Шаг 4. Запускаем обучение

Я уже пробовал дообучать davinci на своих данных. Понравилось, что у них есть валидация датасета, на котором ты обучаешься. Я там забыл добавить какой-то специальный токен и меня об этом предупредили :) Из минусов — качество получилось плохое, поэтому деньги были потрачены зря.

По деньгам:
- Генерировать токены в 3-6 раз дороже с вашей дообученной моделью
- На 5к примерах длиной ~500 токенов дообучиться будет стоить около $20, что дешево!

📰 Новость

👏2

www.tgoop.com/neural_cat/62

1.25K viewsedited Aug 22, 2023 at 19:38

tgoop.com/neural_cat/62

Create: 2023-08-22
Last Update: 2025-12-02 00:10:43

⚡️ GPT-3.5 Fine-tuning

OpenAI объявили, что теперь можно дообучать GPT-3.5 (a.k.a. ChatGPT). GPT4 можно будет дообучать уже этой осенью.

😀 Проблема: API OpenAI плохо работает на моем домене и prompt engineering не помогает. Также не помогает few-shot prompting

🦈 Решение: дообучить модель OpenAI на своем домене

Шаг 1. Собираем датасет в multi-turn формате (system prompt, user, assistant)
Шаг 2. Тулой OpenAI загружаем данные на их серваки (они утверждают, что эти данные ими никак не будут использоваться)
Шаг 3. Выбираем количество эпох
Шаг 4. Запускаем обучение

Я уже пробовал дообучать davinci на своих данных. Понравилось, что у них есть валидация датасета, на котором ты обучаешься. Я там забыл добавить какой-то специальный токен и меня об этом предупредили :) Из минусов — качество получилось плохое, поэтому деньги были потрачены зря.

По деньгам:
- Генерировать токены в 3-6 раз дороже с вашей дообученной моделью
- На 5к примерах длиной ~500 токенов дообучиться будет стоить около $20, что дешево!

📰 Новость

BY Нейронный Кот

Share with your friend now:
tgoop.com/neural_cat/62

Open in Telegram

Telegram News

Date: 2025-12-02|

Users are more open to new information on workdays rather than weekends. Telegram offers a powerful toolset that allows businesses to create and manage channels, groups, and bots to broadcast messages, engage in conversations, and offer reliable customer support via bots. A few years ago, you had to use a special bot to run a poll on Telegram. Now you can easily do that yourself in two clicks. Hit the Menu icon and select “Create Poll.” Write your question and add up to 10 options. Running polls is a powerful strategy for getting feedback from your audience. If you’re considering the possibility of modifying your channel in any way, be sure to ask your subscribers’ opinions first. With the “Bear Market Screaming Therapy Group,” we’ve now transcended language. As five out of seven counts were serious, Hui sentenced Ng to six years and six months in jail.
from us

Telegram Нейронный Кот
FROM American