📣 NVIDIA представили NVFP4 — новый 4-битный формат, который переопределяет экономику AI-инференса на базе архитектуры Blackwell.
Формат NVFP4 работает на тензорных ядрах 5-го поколения и сочетает:
• масштабирование по блокам в формате FP8 (4M3)
• масштабирование по тензору в формате FP32
Такой подход позволяет сохранять точность моделей при резком снижении объёма памяти и ускорении вычислений.
🔋 Преимущества:
• До 50× выше энергоэффективность
• Снижение стоимости владения (TCO)
• Повышенная производительность при масштабировании
📦 Поддержка уже реализована в:
• TensorRT Model Optimizer
• TensorRT-LLM
• Интегрируется в vllm project
• Поддержка также готовится доя lmsysorg
📌Blog : https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/
📌 HF: https://huggingface.co/collections/nvidia/model-optimizer-66aa84f7966b3150262481a4
Формат NVFP4 работает на тензорных ядрах 5-го поколения и сочетает:
• масштабирование по блокам в формате FP8 (4M3)
• масштабирование по тензору в формате FP32
Такой подход позволяет сохранять точность моделей при резком снижении объёма памяти и ускорении вычислений.
🔋 Преимущества:
• До 50× выше энергоэффективность
• Снижение стоимости владения (TCO)
• Повышенная производительность при масштабировании
📦 Поддержка уже реализована в:
• TensorRT Model Optimizer
• TensorRT-LLM
• Интегрируется в vllm project
• Поддержка также готовится доя lmsysorg
📌Blog : https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/
📌 HF: https://huggingface.co/collections/nvidia/model-optimizer-66aa84f7966b3150262481a4
tgoop.com/machinelearning_interview/1886
Create:
Last Update:
Last Update:
📣 NVIDIA представили NVFP4 — новый 4-битный формат, который переопределяет экономику AI-инференса на базе архитектуры Blackwell.
Формат NVFP4 работает на тензорных ядрах 5-го поколения и сочетает:
• масштабирование по блокам в формате FP8 (4M3)
• масштабирование по тензору в формате FP32
Такой подход позволяет сохранять точность моделей при резком снижении объёма памяти и ускорении вычислений.
🔋 Преимущества:
• До 50× выше энергоэффективность
• Снижение стоимости владения (TCO)
• Повышенная производительность при масштабировании
📦 Поддержка уже реализована в:
• TensorRT Model Optimizer
• TensorRT-LLM
• Интегрируется в vllm project
• Поддержка также готовится доя lmsysorg
📌Blog : https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/
📌 HF: https://huggingface.co/collections/nvidia/model-optimizer-66aa84f7966b3150262481a4
Формат NVFP4 работает на тензорных ядрах 5-го поколения и сочетает:
• масштабирование по блокам в формате FP8 (4M3)
• масштабирование по тензору в формате FP32
Такой подход позволяет сохранять точность моделей при резком снижении объёма памяти и ускорении вычислений.
🔋 Преимущества:
• До 50× выше энергоэффективность
• Снижение стоимости владения (TCO)
• Повышенная производительность при масштабировании
📦 Поддержка уже реализована в:
• TensorRT Model Optimizer
• TensorRT-LLM
• Интегрируется в vllm project
• Поддержка также готовится доя lmsysorg
📌Blog : https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/
📌 HF: https://huggingface.co/collections/nvidia/model-optimizer-66aa84f7966b3150262481a4
BY Machine learning Interview
Share with your friend now:
tgoop.com/machinelearning_interview/1886