Свежая статья от Sakana AI: как идеи эволюции можно применять для ИИ
У Sakana уже который раз выходят интересные статьи, в которых они предлагают разнообразные виды ансамблей. Идеология у них вполне конкретная: они настаивают, что будущее не за одной гигантской монолитной моделью, а за экосистемами агентов, которые могут взаимодействовать. И вот с типами этого взаимодействия они как раз и экспериментируют в своих работах.
В этот раз на повестке оказались эволюционные процессы. Предлагается метод M2N2 (Model Merging of Natural Niches), построенный на трех принципах, которые Sakana подглядели у биологов:
1. Аналог обмена кусочками ДНК. Модели хранятся как массив параметров, и каждый раз алгоритм случайным образом выбирает split-point – индекс в массиве параметров, где произойдёт разрез. До этой точки итоговые веса берутся как смесь от модели A, после – от модели B. Если полученный ребенок показывает хорошую метрику (фитнес) – оставляем его в массиве. Иначе отсеиваем.
2. Конкуренция за ресурсы. Модели соревнуются за главное сокровище: данные. Каждый датапойнт в тренировке – это ресурс с ограниченной емкостью. Если у одной модели на каком-то примере уже есть высокий скор, то считается, что она заняла большую часть ресурса, и другие модели не могут получить с него полноценный фитнес, даже если тоже освоили пример. Это вынуждает агентов искать другие примеры, где они смогут быть уникально полезны, и именно так возникает специализация.
3. Кроссовер особей. Обычно в эволюционных процессах считается, что чем лучше твои характеристики (фитнес в данном случае), тем выше вероятность, что тебя кто-то выберет в качестве партнера и родителя своих детей. Но тут сделали немного иначе: первого родителя выбирают действительно по фитнесу, а второго берут таким, чтобы он был силен там, где слаб первый. В данном случае лучше всего работает именно такой селекшен.
В итоге получается генетический алгоритм на максималках. Так даже можно обучать модели с нуля без использования градиентов и backprop. Всё обучение — это поиск в пространстве параметров за счёт описанных эволюционных операторов (слияние, мутация, отбор).
Например, в статье исследователи взяли 20 случайно инициализированных MLP и с помощью M2N2 дотренили их до уровня CMA-ES на MNIST. При этом получилось, что обучается M2N2 даже быстрее и дешевле.
И не с нуля тоже масштабируется. Основной пример: Sakana таким образом объединили WizardMath-7B и AgentEvol-7B и получили агента, который одновременно хорош и в математике, и во всяком агентском. С диффузионками и мультимодальными моделями тоже работает. Причем по сравнению с ванильным файн-тюном здесь не наблюдается никакого эффекта забывания.
Статья полностью тут, код – вот здесь
К слову, работа выиграла награду best paper на GECCO’25
У Sakana уже который раз выходят интересные статьи, в которых они предлагают разнообразные виды ансамблей. Идеология у них вполне конкретная: они настаивают, что будущее не за одной гигантской монолитной моделью, а за экосистемами агентов, которые могут взаимодействовать. И вот с типами этого взаимодействия они как раз и экспериментируют в своих работах.
В этот раз на повестке оказались эволюционные процессы. Предлагается метод M2N2 (Model Merging of Natural Niches), построенный на трех принципах, которые Sakana подглядели у биологов:
1. Аналог обмена кусочками ДНК. Модели хранятся как массив параметров, и каждый раз алгоритм случайным образом выбирает split-point – индекс в массиве параметров, где произойдёт разрез. До этой точки итоговые веса берутся как смесь от модели A, после – от модели B. Если полученный ребенок показывает хорошую метрику (фитнес) – оставляем его в массиве. Иначе отсеиваем.
2. Конкуренция за ресурсы. Модели соревнуются за главное сокровище: данные. Каждый датапойнт в тренировке – это ресурс с ограниченной емкостью. Если у одной модели на каком-то примере уже есть высокий скор, то считается, что она заняла большую часть ресурса, и другие модели не могут получить с него полноценный фитнес, даже если тоже освоили пример. Это вынуждает агентов искать другие примеры, где они смогут быть уникально полезны, и именно так возникает специализация.
3. Кроссовер особей. Обычно в эволюционных процессах считается, что чем лучше твои характеристики (фитнес в данном случае), тем выше вероятность, что тебя кто-то выберет в качестве партнера и родителя своих детей. Но тут сделали немного иначе: первого родителя выбирают действительно по фитнесу, а второго берут таким, чтобы он был силен там, где слаб первый. В данном случае лучше всего работает именно такой селекшен.
В итоге получается генетический алгоритм на максималках. Так даже можно обучать модели с нуля без использования градиентов и backprop. Всё обучение — это поиск в пространстве параметров за счёт описанных эволюционных операторов (слияние, мутация, отбор).
Например, в статье исследователи взяли 20 случайно инициализированных MLP и с помощью M2N2 дотренили их до уровня CMA-ES на MNIST. При этом получилось, что обучается M2N2 даже быстрее и дешевле.
И не с нуля тоже масштабируется. Основной пример: Sakana таким образом объединили WizardMath-7B и AgentEvol-7B и получили агента, который одновременно хорош и в математике, и во всяком агентском. С диффузионками и мультимодальными моделями тоже работает. Причем по сравнению с ванильным файн-тюном здесь не наблюдается никакого эффекта забывания.
Статья полностью тут, код – вот здесь
К слову, работа выиграла награду best paper на GECCO’25
1❤133🔥87👍30🤯4
tgoop.com/data_secrets/7685
Create:
Last Update:
Last Update:
Свежая статья от Sakana AI: как идеи эволюции можно применять для ИИ
У Sakana уже который раз выходят интересные статьи, в которых они предлагают разнообразные виды ансамблей. Идеология у них вполне конкретная: они настаивают, что будущее не за одной гигантской монолитной моделью, а за экосистемами агентов, которые могут взаимодействовать. И вот с типами этого взаимодействия они как раз и экспериментируют в своих работах.
В этот раз на повестке оказались эволюционные процессы. Предлагается метод M2N2 (Model Merging of Natural Niches), построенный на трех принципах, которые Sakana подглядели у биологов:
1. Аналог обмена кусочками ДНК. Модели хранятся как массив параметров, и каждый раз алгоритм случайным образом выбирает split-point – индекс в массиве параметров, где произойдёт разрез. До этой точки итоговые веса берутся как смесь от модели A, после – от модели B. Если полученный ребенок показывает хорошую метрику (фитнес) – оставляем его в массиве. Иначе отсеиваем.
2. Конкуренция за ресурсы. Модели соревнуются за главное сокровище: данные. Каждый датапойнт в тренировке – это ресурс с ограниченной емкостью. Если у одной модели на каком-то примере уже есть высокий скор, то считается, что она заняла большую часть ресурса, и другие модели не могут получить с него полноценный фитнес, даже если тоже освоили пример. Это вынуждает агентов искать другие примеры, где они смогут быть уникально полезны, и именно так возникает специализация.
3. Кроссовер особей. Обычно в эволюционных процессах считается, что чем лучше твои характеристики (фитнес в данном случае), тем выше вероятность, что тебя кто-то выберет в качестве партнера и родителя своих детей. Но тут сделали немного иначе: первого родителя выбирают действительно по фитнесу, а второго берут таким, чтобы он был силен там, где слаб первый. В данном случае лучше всего работает именно такой селекшен.
В итоге получается генетический алгоритм на максималках. Так даже можно обучать модели с нуля без использования градиентов и backprop. Всё обучение — это поиск в пространстве параметров за счёт описанных эволюционных операторов (слияние, мутация, отбор).
Например, в статье исследователи взяли 20 случайно инициализированных MLP и с помощью M2N2 дотренили их до уровня CMA-ES на MNIST. При этом получилось, что обучается M2N2 даже быстрее и дешевле.
И не с нуля тоже масштабируется. Основной пример: Sakana таким образом объединили WizardMath-7B и AgentEvol-7B и получили агента, который одновременно хорош и в математике, и во всяком агентском. С диффузионками и мультимодальными моделями тоже работает. Причем по сравнению с ванильным файн-тюном здесь не наблюдается никакого эффекта забывания.
Статья полностью тут, код – вот здесь
К слову, работа выиграла награду best paper на GECCO’25
У Sakana уже который раз выходят интересные статьи, в которых они предлагают разнообразные виды ансамблей. Идеология у них вполне конкретная: они настаивают, что будущее не за одной гигантской монолитной моделью, а за экосистемами агентов, которые могут взаимодействовать. И вот с типами этого взаимодействия они как раз и экспериментируют в своих работах.
В этот раз на повестке оказались эволюционные процессы. Предлагается метод M2N2 (Model Merging of Natural Niches), построенный на трех принципах, которые Sakana подглядели у биологов:
1. Аналог обмена кусочками ДНК. Модели хранятся как массив параметров, и каждый раз алгоритм случайным образом выбирает split-point – индекс в массиве параметров, где произойдёт разрез. До этой точки итоговые веса берутся как смесь от модели A, после – от модели B. Если полученный ребенок показывает хорошую метрику (фитнес) – оставляем его в массиве. Иначе отсеиваем.
2. Конкуренция за ресурсы. Модели соревнуются за главное сокровище: данные. Каждый датапойнт в тренировке – это ресурс с ограниченной емкостью. Если у одной модели на каком-то примере уже есть высокий скор, то считается, что она заняла большую часть ресурса, и другие модели не могут получить с него полноценный фитнес, даже если тоже освоили пример. Это вынуждает агентов искать другие примеры, где они смогут быть уникально полезны, и именно так возникает специализация.
3. Кроссовер особей. Обычно в эволюционных процессах считается, что чем лучше твои характеристики (фитнес в данном случае), тем выше вероятность, что тебя кто-то выберет в качестве партнера и родителя своих детей. Но тут сделали немного иначе: первого родителя выбирают действительно по фитнесу, а второго берут таким, чтобы он был силен там, где слаб первый. В данном случае лучше всего работает именно такой селекшен.
В итоге получается генетический алгоритм на максималках. Так даже можно обучать модели с нуля без использования градиентов и backprop. Всё обучение — это поиск в пространстве параметров за счёт описанных эволюционных операторов (слияние, мутация, отбор).
Например, в статье исследователи взяли 20 случайно инициализированных MLP и с помощью M2N2 дотренили их до уровня CMA-ES на MNIST. При этом получилось, что обучается M2N2 даже быстрее и дешевле.
И не с нуля тоже масштабируется. Основной пример: Sakana таким образом объединили WizardMath-7B и AgentEvol-7B и получили агента, который одновременно хорош и в математике, и во всяком агентском. С диффузионками и мультимодальными моделями тоже работает. Причем по сравнению с ванильным файн-тюном здесь не наблюдается никакого эффекта забывания.
Статья полностью тут, код – вот здесь
К слову, работа выиграла награду best paper на GECCO’25
BY Data Secrets
Share with your friend now:
tgoop.com/data_secrets/7685