ПОСЛЕЗАВТРА

По мере роста возможностей больших языковых моделей (LLM), таких как ChatGPT, растут и их аппетиты к вычислительным ресурсам. При этом на вычислительную нагрузку оказывает большое влияние необходимость проведения многократных операций по умножению матриц (MatMul), при которых данные комбинируются с весами в нейронной сети для получения наиболее подходящего ответа на запрос пользователя. Сегодня производительности даже огромных кластеров GPU уже не хватает для все растущих аппаратных требований языковых моделей.
https://telegra.ph/POSLEZAVTRA-07-01

Telegraph

ПОСЛЕЗАВТРА

В США предложили новый способ работы языковых моделей По мере роста возможностей больших языковых моделей (LLM), таких как ChatGPT, растут и их аппетиты к вычислительным ресурсам. При этом на вычислительную нагрузку оказывает большое влияние необходимость…

👍1

www.tgoop.com/zen_dat/673

10 viewsJul 1, 2024 at 12:51

По мере роста возможностей больших языковых моделей (LLM), таких как ChatGPT, растут и их аппетиты к вычислительным ресурсам. При этом на вычислительную нагрузку оказывает большое влияние необходимость проведения многократных операций по умножению матриц (MatMul), при которых данные комбинируются с весами в нейронной сети для получения наиболее подходящего ответа на запрос пользователя. Сегодня производительности даже огромных кластеров GPU уже не хватает для все растущих аппаратных требований языковых моделей.
https://telegra.ph/POSLEZAVTRA-07-01

BY ПОСЛЕЗАВТРА