tgoop.com/cppproglib/5611
Last Update:
rwkv.cpp — легковесная C++-библиотека для работы с моделями RWKV
Если вы работаете с языковыми моделями RWKV и хотите максимальной производительности без лишних зависимостей, обратите внимание на rwkv.cpp. Это минималистичная C++-реализация инференса для моделей RWKV, которая работает даже на CPU с поддержкой AVX/AVX2. Проект активно развивается и поддерживает загрузку весов из оригинальных моделей PyTorch.
Библиотека отлично подходит для встраивания в C++-приложения, где важны скорость и низкие накладные расходы. Код чистый и простой для модификации — если вам нужен эффективный инференс без перегруженных фреймворков, стоит попробовать. К тому же, проект поддерживает GGML, что открывает возможности для квантования и оптимизации под разное железо.
Библиотека C/C++ разработчика
BY Библиотека C/C++ разработчика | cpp, boost, qt
Share with your friend now:
tgoop.com/cppproglib/5611