Notice: file_put_contents(): Write of 8624 bytes failed with errno=28 No space left on device in /var/www/tgoop/post.php on line 50

Warning: file_put_contents(): Only 8192 of 16816 bytes written, possibly out of free disk space in /var/www/tgoop/post.php on line 50
Анализ данных (Data analysis)@data_analysis_ml P.3787
DATA_ANALYSIS_ML Telegram 3787
🚀 AirLLM — перспективный подход к запуску LLM на слабом железе.

Этот проект позволяет запускать 70B-параметрические модели на видеокартах с 4GB памяти без квантования — это стало возможным благодаря оптимизированной послойной загрузке весов.

Инструмент работает благодаря блочному 4/8-битное сжатие, ускоряющее inference в 3 раза с минимальной потерей качества. Решение работает даже на MacOS с чипами Apple Silicon , поддерживаются Llama3, Qwen2.5, Mixtral и другие топовые LLM.

🤖 GitHub

@data_analysis_ml
🔥188👍3



tgoop.com/data_analysis_ml/3787
Create:
Last Update:

🚀 AirLLM — перспективный подход к запуску LLM на слабом железе.

Этот проект позволяет запускать 70B-параметрические модели на видеокартах с 4GB памяти без квантования — это стало возможным благодаря оптимизированной послойной загрузке весов.

Инструмент работает благодаря блочному 4/8-битное сжатие, ускоряющее inference в 3 раза с минимальной потерей качества. Решение работает даже на MacOS с чипами Apple Silicon , поддерживаются Llama3, Qwen2.5, Mixtral и другие топовые LLM.

🤖 GitHub

@data_analysis_ml

BY Анализ данных (Data analysis)




Share with your friend now:
tgoop.com/data_analysis_ml/3787

View MORE
Open in Telegram


Telegram News

Date: |

Users are more open to new information on workdays rather than weekends. Telegram message that reads: "Bear Market Screaming Therapy Group. You are only allowed to send screaming voice notes. Everything else = BAN. Text pics, videos, stickers, gif = BAN. Anything other than screaming = BAN. You think you are smart = BAN. It’s easy to create a Telegram channel via desktop app or mobile app (for Android and iOS): The initiatives announced by Perekopsky include monitoring the content in groups. According to the executive, posts identified as lacking context or as containing false information will be flagged as a potential source of disinformation. The content is then forwarded to Telegram's fact-checking channels for analysis and subsequent publication of verified information. The best encrypted messaging apps
from us


Telegram Анализ данных (Data analysis)
FROM American