Neural Deep@neuraldeep P.1476

Warning: mkdir(): No space left on device in /var/www/tgoop/post.php on line 37

Warning: file_put_contents(aCache/aDaily/post/neuraldeep/--): Failed to open stream: No such file or directory in /var/www/tgoop/post.php on line 50
Neural Deep@neuraldeep P.1476

NEURALDEEP Telegram 1476

Доброе утро всем!

Продолжаем тесты RTX 4090 (48GB). Наконец сегодня дошли руки доделать адекватный тест с мониторингом всех performance-графиков пока что два простеньких теста х5 и х10 реквестов с разным размером контекста

Сейчас делал замеры на скорость:
- Чтения
- Генерации
- И нагрузки GPU

Как держит разную нагрузку именно под полным и неполным контекстом с FP16 моделькой и какое кол-во реквестов (батч) оптимальное

На тесте сегодня у нас Qwen2.5-Coder-32B-Instruct

Задача: прочитать большой код 15к токенов и найти нужные мне функции, описать их, разобрать функционал (простая задача, с этим модель справилась, как всегда, отлично).

Из интересного: если правильно нарезать задачу, то в целом можно выжать из такого конфига — а напомню, у нас x2 RTX 4090 (48GB) Max Concurrency 2.76x 32к token:

- Prompt Speed: 1,017 tok/s
- Generation: 164.2 tok/s

С результатами можно ознакомиться тут и скриншоты подробнее в комментариях

За предоставленные карты на тест отдельное спасибо https://riverstrom.ai
#x2_409048GB

1🔥14👍4

www.tgoop.com/neuraldeep/1476

2.78K viewsedited Jun 3 at 04:13

tgoop.com/neuraldeep/1476

Create: 2025-06-03
Last Update: 2025-07-30 00:14:20

Доброе утро всем!

Продолжаем тесты RTX 4090 (48GB). Наконец сегодня дошли руки доделать адекватный тест с мониторингом всех performance-графиков пока что два простеньких теста х5 и х10 реквестов с разным размером контекста

Сейчас делал замеры на скорость:
- Чтения
- Генерации
- И нагрузки GPU

Как держит разную нагрузку именно под полным и неполным контекстом с FP16 моделькой и какое кол-во реквестов (батч) оптимальное

На тесте сегодня у нас Qwen2.5-Coder-32B-Instruct

Задача: прочитать большой код 15к токенов и найти нужные мне функции, описать их, разобрать функционал (простая задача, с этим модель справилась, как всегда, отлично).

Из интересного: если правильно нарезать задачу, то в целом можно выжать из такого конфига — а напомню, у нас x2 RTX 4090 (48GB) Max Concurrency 2.76x 32к token:

- Prompt Speed: 1,017 tok/s
- Generation: 164.2 tok/s

С результатами можно ознакомиться тут и скриншоты подробнее в комментариях

За предоставленные карты на тест отдельное спасибо https://riverstrom.ai
#x2_409048GB

BY Neural Deep

Share with your friend now:
tgoop.com/neuraldeep/1476

Open in Telegram

Telegram News

Date: 2025-07-30|

A few years ago, you had to use a special bot to run a poll on Telegram. Now you can easily do that yourself in two clicks. Hit the Menu icon and select “Create Poll.” Write your question and add up to 10 options. Running polls is a powerful strategy for getting feedback from your audience. If you’re considering the possibility of modifying your channel in any way, be sure to ask your subscribers’ opinions first. bank east asia october 20 kowloon Clear The SUCK Channel on Telegram, with a message saying some content has been removed by the police. Photo: Telegram screenshot. Those being doxxed include outgoing Chief Executive Carrie Lam Cheng Yuet-ngor, Chung and police assistant commissioner Joe Chan Tung, who heads police's cyber security and technology crime bureau.
from us

Telegram Neural Deep
FROM American