КПД

К дискуссии о размере модели и стоимости инференса.

Command R и Command R+ отличаются в 3 раза по размеру (примерно столько же по FLOPs), но по стоимости генерации входных токенов в 6 раз, а выходных в 10.

По всей видимости, скейлинг стоимости модели и инференса нелинейный.

Полагаю, уместно предположить, что OpenAI, как более известный бренд, берет большую наценку, чем Cohere4AI.

Таблица стоимости токенов ниже

| Model | $ / M input tokens | $ / M output tokens |
|---------------|--------------------|---------------------|
| GPT-3.5 Turbo | 0.50 | 1.50 |
| GPT-4 | 30.00 | 60.00 |
| GPT-4 Turbo | 10.00 | 30.00 |
| Command R | 0.50 | 1.50 |
| Command R+ | 3.00 | 15.00 |

1️⃣ GPT-3.5 Turbo - gpt-3.5-turbo-0125
2️⃣ GPT-4- gpt-4 (не 32к)

КПД. Думайте 🤔. Подписаться 📝.

🔥6❤1🤔1

www.tgoop.com/quant_prune_distill/243

1.26K viewsedited  Apr 11, 2024 at 08:21

К дискуссии о размере модели и стоимости инференса.

Command R и Command R+ отличаются в 3 раза по размеру (примерно столько же по FLOPs), но по стоимости генерации входных токенов в 6 раз, а выходных в 10.

По всей видимости, скейлинг стоимости модели и инференса нелинейный.

Полагаю, уместно предположить, что OpenAI, как более известный бренд, берет большую наценку, чем Cohere4AI.

Таблица стоимости токенов ниже

| Model | $ / M input tokens | $ / M output tokens |
|---------------|--------------------|---------------------|
| GPT-3.5 Turbo | 0.50 | 1.50 |
| GPT-4 | 30.00 | 60.00 |
| GPT-4 Turbo | 10.00 | 30.00 |
| Command R | 0.50 | 1.50 |
| Command R+ | 3.00 | 15.00 |

1️⃣ GPT-3.5 Turbo - gpt-3.5-turbo-0125
2️⃣ GPT-4- gpt-4 (не 32к)

КПД. Думайте 🤔. Подписаться 📝.

BY КПД