Хотите вы протестировать фунциональность вашего кода на какой-то новомодной LLM-ке, но десятки, а то и сотни гигов качать впадлу. Да и если раздебаг на колабе, банально и не влезет.
Кроме того, при прогонке кода обычно приходится ждать ⏳, пока чекпоинт подгрузится, да и прогонка активаций через большую модель занимает время.
Решение простое: 1️⃣ Cоздаете модель через AutoConfig 2️⃣ Урезаете число слоев и ширину модели 3️⃣ Вуаля. Можете хоть на CPU гонять.
Допер только на днях. До этого гонял Llama-2-7b в большинстве тестов.
Хотите вы протестировать фунциональность вашего кода на какой-то новомодной LLM-ке, но десятки, а то и сотни гигов качать впадлу. Да и если раздебаг на колабе, банально и не влезет.
Кроме того, при прогонке кода обычно приходится ждать ⏳, пока чекпоинт подгрузится, да и прогонка активаций через большую модель занимает время.
Решение простое: 1️⃣ Cоздаете модель через AutoConfig 2️⃣ Урезаете число слоев и ширину модели 3️⃣ Вуаля. Можете хоть на CPU гонять.
Допер только на днях. До этого гонял Llama-2-7b в большинстве тестов.
Some Telegram Channels content management tips A Telegram channel is used for various purposes, from sharing helpful content to implementing a business strategy. In addition, you can use your channel to build and improve your company image, boost your sales, make profits, enhance customer loyalty, and more. Private channels are only accessible to subscribers and don’t appear in public searches. To join a private channel, you need to receive a link from the owner (administrator). A private channel is an excellent solution for companies and teams. You can also use this type of channel to write down personal notes, reflections, etc. By the way, you can make your private channel public at any moment. bank east asia october 20 kowloon Telegram Channels requirements & features
from us
