Заметки инженера - исследователя

​​То ли большие игроки решили что пора уже сдувать ИИ-шный экономический пузырь, то ли какие-то внутризападные конфликты обострились, но в последние недели из каждого утюга стало слышно о том, что "внезапно оказалось", что ИИ на графических процессорах потребляет слишком много энергии.

Но что для одного огорчение, то для другого возможность. И уже MIT Technology Review вдруг вспомнил, что не едиными графическими процессорами жив нейросетевой ИИ. И что вполне можно собирать такие системы на "аналоговом компьютере".

Издание рассказывает о лаборатории Сэма Диллавоу в Пенсильванском университете, в котором исследуют возможность использования схем, состоящих из резисторов, для выполнения простых задач классификации в машинном обучении. В такой системе в общем-то только одно большое преимущество: потенциальная экономия энергии.

"Диллавоу объясняет потенциальную экономию энергии следующим образом: цифровые чипы, такие как графические процессоры, расходуют энергию "квантовано", "квант" энергии на одну операцию. Поэтому создание чипа, способного выполнять больше операций в секунду, просто означает, что чип потребляет больше энергии в секунду. Напротив, энергопотребление аналогового компьютера зависит от продолжительности его работы. Если сделать аналоговый компьютер вдвое быстрее, он также стал бы вдвое энергоэффективнее. ... В настоящее время на обучение большой языковой модели уходит столько же энергии, сколько ежегодно потребляет более сотни домов в США. Диллавоу надеется, что его разработка предлагает альтернативный, более энергоэффективный подход к созданию более быстрого искусственного интеллекта".

"Обучение устройства предполагает использование второй идентичной схемы для “инструктирования” первого устройства. Обе схемы начинаются с одинаковых значений сопротивления для каждого из 32 переменных резисторов. Диллавоу подает на обе схемы одинаковые входные сигналы, и регулирует выходное напряжение второй схемы в соответствии с требуемым выходным сигналом. Первая схема получает обратную связь от второй схемы, и обе схемы регулируют свои сопротивления таким образом, чтобы они сходились на одних и тех же значениях. Цикл начинается снова с нового ввода, пока схемы не установят набор уровней сопротивления, которые обеспечивают правильный вывод для обучающих примеров. По сути, команда обучает устройство с помощью метода, известного как контролируемое обучение, при котором модель искусственного интеллекта обучается на основе помеченных данных, чтобы предсказать метки для новых примеров."

(Продолжение следует.)

На фото ниже - описываемое устройство "в железе".

👍5

www.tgoop.com/IngeniumNotes/1229

241 viewsedited  Jun 6, 2024 at 08:49

​​То ли большие игроки решили что пора уже сдувать ИИ-шный экономический пузырь, то ли какие-то внутризападные конфликты обострились, но в последние недели из каждого утюга стало слышно о том, что "внезапно оказалось", что ИИ на графических процессорах потребляет слишком много энергии.

Но что для одного огорчение, то для другого возможность. И уже MIT Technology Review вдруг вспомнил, что не едиными графическими процессорами жив нейросетевой ИИ. И что вполне можно собирать такие системы на "аналоговом компьютере".

Издание рассказывает о лаборатории Сэма Диллавоу в Пенсильванском университете, в котором исследуют возможность использования схем, состоящих из резисторов, для выполнения простых задач классификации в машинном обучении. В такой системе в общем-то только одно большое преимущество: потенциальная экономия энергии.

"Диллавоу объясняет потенциальную экономию энергии следующим образом: цифровые чипы, такие как графические процессоры, расходуют энергию "квантовано", "квант" энергии на одну операцию. Поэтому создание чипа, способного выполнять больше операций в секунду, просто означает, что чип потребляет больше энергии в секунду. Напротив, энергопотребление аналогового компьютера зависит от продолжительности его работы. Если сделать аналоговый компьютер вдвое быстрее, он также стал бы вдвое энергоэффективнее. ... В настоящее время на обучение большой языковой модели уходит столько же энергии, сколько ежегодно потребляет более сотни домов в США. Диллавоу надеется, что его разработка предлагает альтернативный, более энергоэффективный подход к созданию более быстрого искусственного интеллекта".

"Обучение устройства предполагает использование второй идентичной схемы для “инструктирования” первого устройства. Обе схемы начинаются с одинаковых значений сопротивления для каждого из 32 переменных резисторов. Диллавоу подает на обе схемы одинаковые входные сигналы, и регулирует выходное напряжение второй схемы в соответствии с требуемым выходным сигналом. Первая схема получает обратную связь от второй схемы, и обе схемы регулируют свои сопротивления таким образом, чтобы они сходились на одних и тех же значениях. Цикл начинается снова с нового ввода, пока схемы не установят набор уровней сопротивления, которые обеспечивают правильный вывод для обучающих примеров. По сути, команда обучает устройство с помощью метода, известного как контролируемое обучение, при котором модель искусственного интеллекта обучается на основе помеченных данных, чтобы предсказать метки для новых примеров."

(Продолжение следует.)

На фото ниже - описываемое устройство "в железе".

BY Заметки инженера - исследователя