Вместе с выходом поколения ⚫️well зеленые добавили поддержку Miscroscaling FP4 форматов (разбиралось выше тут и тут ).
Утверждается, что данные форматы дают существенную экономию памяти и ускорение вычислений (при weight+activation квантизации и для compute-bound сценариев) “практически” без просадки в качестве.
И в рамках данной работы мы с коллегами из IST Austria / EPFL решили проверить, что есть это “практически“ на самом деле, и исследовать полезность разных техник из литературы и личного арсенала для квантизации LLMок.
Вместе с выходом поколения ⚫️well зеленые добавили поддержку Miscroscaling FP4 форматов (разбиралось выше тут и тут ).
Утверждается, что данные форматы дают существенную экономию памяти и ускорение вычислений (при weight+activation квантизации и для compute-bound сценариев) “практически” без просадки в качестве.
И в рамках данной работы мы с коллегами из IST Austria / EPFL решили проверить, что есть это “практически“ на самом деле, и исследовать полезность разных техник из литературы и личного арсенала для квантизации LLMок.
The Channel name and bio must be no more than 255 characters long Private channels are only accessible to subscribers and don’t appear in public searches. To join a private channel, you need to receive a link from the owner (administrator). A private channel is an excellent solution for companies and teams. You can also use this type of channel to write down personal notes, reflections, etc. By the way, you can make your private channel public at any moment. The creator of the channel becomes its administrator by default. If you need help managing your channel, you can add more administrators from your subscriber base. You can provide each admin with limited or full rights to manage the channel. For example, you can allow an administrator to publish and edit content while withholding the right to add new subscribers. Just as the Bitcoin turmoil continues, crypto traders have taken to Telegram to voice their feelings. Crypto investors can reduce their anxiety about losses by joining the “Bear Market Screaming Therapy Group” on Telegram. Add the logo from your device. Adjust the visible area of your image. Congratulations! Now your Telegram channel has a face Click “Save”.!
from us
