Forwarded from Machinelearning
🧠 Андрей Карпаты научил nanochat считать буквы - и объяснил, как расширять способности модели.
Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, чьи размеры он сравнил с «мозгом пчелы».
Он обучил модель считать, сколько раз буква r встречается в слове strawberry - и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.
Он использует задачу SpellingBee, которая генерирует диалоги вида:
> «Сколько букв r в слове strawberry?»
и правильные ответы.
После этого модель дообучается (**SFT**) или проходит обучение с подкреплением (RL), чтобы закрепить навык.
Далее модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.
Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.
Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче «понимает» задачу.
Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово,
— и через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.
🧩 Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.
📘 Полный разбор: github.com/karpathy/nanochat/discussions/164
@ai_machinelearning_big_data
#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, чьи размеры он сравнил с «мозгом пчелы».
Он обучил модель считать, сколько раз буква r встречается в слове strawberry - и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.
Он использует задачу SpellingBee, которая генерирует диалоги вида:
> «Сколько букв r в слове strawberry?»
и правильные ответы.
После этого модель дообучается (**SFT**) или проходит обучение с подкреплением (RL), чтобы закрепить навык.
Далее модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.
Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.
Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче «понимает» задачу.
Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово,
— и через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.
🧩 Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.
📘 Полный разбор: github.com/karpathy/nanochat/discussions/164
@ai_machinelearning_big_data
#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
🔥6❤1
tgoop.com/bigdatai/1588
Create:
Last Update:
Last Update:
🧠 Андрей Карпаты научил nanochat считать буквы - и объяснил, как расширять способности модели.
Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, чьи размеры он сравнил с «мозгом пчелы».
Он обучил модель считать, сколько раз буква r встречается в слове strawberry - и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.
Он использует задачу SpellingBee, которая генерирует диалоги вида:
> «Сколько букв r в слове strawberry?»
и правильные ответы.
После этого модель дообучается (**SFT**) или проходит обучение с подкреплением (RL), чтобы закрепить навык.
Далее модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.
Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.
Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче «понимает» задачу.
Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово,
— и через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.
🧩 Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.
📘 Полный разбор: github.com/karpathy/nanochat/discussions/164
@ai_machinelearning_big_data
#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, чьи размеры он сравнил с «мозгом пчелы».
Он обучил модель считать, сколько раз буква r встречается в слове strawberry - и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.
Он использует задачу SpellingBee, которая генерирует диалоги вида:
> «Сколько букв r в слове strawberry?»
и правильные ответы.
После этого модель дообучается (**SFT**) или проходит обучение с подкреплением (RL), чтобы закрепить навык.
Далее модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.
Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.
Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче «понимает» задачу.
Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово,
— и через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.
🧩 Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.
📘 Полный разбор: github.com/karpathy/nanochat/discussions/164
@ai_machinelearning_big_data
#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
BY Big Data AI
Share with your friend now:
tgoop.com/bigdatai/1588