Больше vs лучше
Когда я начинаю уделять больше времени преподаванию, с завидной регулярностью возвращаюсь к выбору «напихать в программу больше интересных вещей» или «лучше рассказать то, что действительно важно». То, что сейчас машинное обучение абсолютно безразмерная область, в которой можно расширять программу курса просто до бесконечности, только провоцирует на первый подход. Кроме того, насыщенная программа легче выдается людям за более полезную. Полистал свои же посты, и пять лет назад тоже во время пика преподавательской активности думал о том же самом, даже рассказал тут про свой любимый курс на Физтехе :)

А что вы думаете? Лучше более интенсивная программа или фокус на понимание самого важного?

#teaching
История про два курса

Когда я учился в университете, в определенный момент у меня в программе был курс функционального анализа - раздела анализа, в котором изучаются топологические пространства (в основном бесконечномерные) и их отображения. Такое вот высокоуровневое развитие привычного всем мат.анализа. Приятная особенность этого предмета в том, что в курсах по нему почти не бывает задач вида «вычислить что-то», только задачи на доказательства и построение примеров довольно абстрактных конструкций. Я, без иронии, был счастлив, что такой курс есть. Меня всегда восхищала красота абстракций, возникающих в математике, и строгих доказательств их свойств при определенных условиях. Разбираться с этим было очень увлекательно и приятно. А вот арифметику я так никогда и не освоил, поэтому радовался, что в кои-то веки на предмете кафедры высшей математики мне не нужно подражать калькулятору.

По этому предмету в моем университете существовало два хорошо сформировавшихся курса, которые читали два разных лектора. Курс более молодого лектора был крайне насыщенным. В нем действительно рассказывалось и доказывалось очень много, как на лекциях, так и на семинарах. Знать все то, что было на этом курсе, было сродни обладанию каким-то невероятным сокровищем, а сам процесс обучения - какое-то запредельное счастье постоянных открытий. И, несмотря на то, что скорость изложения материала зашкаливала, а воспринимать такой плотный поток в принципе затруднительно, предмет был так красив и эстетичен, что награда стоила этих сложностей. Это определенно был очень крутой курс.

Но у меня функциональный анализ вёл другой лектор, существенно старше. Объем материала в его курсе был заметно меньше. И сам курс не производил впечатление очень интенсивного. Звучит хуже? А вот как бы не так. Если первый курс был крутым, то этот курс был гениальным, он был произведением преподавательского искусства. Вместо того, чтобы впихнуть в курс как можно больше, наш лектор (он же был моим семинаристом) оставил время для общения со студентами на занятиях. Нам давали возможность предлагать идеи доказательств, обсуждали с нами возникающие проблемы, давали нам совершать ошибки и помогали учиться на них. Это помогло многим студентам научиться рассуждать на языке математики. Кроме того, курс был насыщен запоминающимися образами. Например, можно было просто формально сообщить слушателям, что значит предъявить эпсилон-сеть для некоторого множества, а можно кроме этого ещё и объяснить, что это то же самое, что целиком осветить парк фонарями, которые освещают круглый пятачок радиусом эпсилон вокруг себя. Детский сад? Может быть. Но образность и осмысленность происходящего позволяла и понимать, и вовлекаться в предмет. И научить нас это помогало.

Последние полгода я часто вспоминаю эти два взгляда на курс. И все чаще задумываюсь, что больше - не значит лучше, ведь «знать» много всего - это, конечно, здорово, но надо же что-то и понимать 🙂 Кроме того, у фокуса на понимание есть приятный бонус: часто достаточно понять совсем немного, чтобы всё остальное стало очевидно и уже не требовало запоминания. Об этом полезно задумываться и преподавателям при подготовке материалов, и слушателям при выборе курсов и траектории обучения в целом.

Ого, в профункторе мем на любимую тему @cryptovalerii :)

Что учить в университете
Вчера записывал интервью с очень крутым разрабом из Яндекса. Обсуждали (уже ближе к концу записи), что нужно учить в университете, а что можно и потом. Прозвучала гениальная по своей простоте и железобетонной логике аксиома: в универе надо учить то, что потом уже не выучишь, например математику и прочую фундаментальщину. Нефундаментальщина через 5-10 лет изменится

Там вышла ллама 3.3
Но самое интересное - цена

По метрикам ± как GPT-4o, но в 25 раз дешевле

Заставляет задуматься

Есть ли отечественные генеративные нейросети на самом деле?

В соцсетях сейчас вирусится видео, прикрепленное к посту: молодой человек рассказывает о том, как отечественные нейросети выдают крайне подозрительный результат по запросу нарисовать «родное».

Первое, что думают люди, видя такое, это что отечественных нейросетей на самом деле нет и они просто перенаправляют запросы в апишку Midjourney и им подобных зарубежных оригиналов.

Те, кто более прошарен, думают, что наши компании просто берут зарубежный опенсорс, разворачивают у себя, а русские запросы обрабатывают после перевода на английский.

А кто еще более прошарен, знает, что опенсорс в целом поддерживает и русский язык. Остается вопрос: так как же все-таки работают отечественные нейросети?

Зачем гадать, если можно спросить эксперта в области технологий AI, который сам имеет отношение к теме генеративного ИИ — Александра Абрамова. См. ответ у него в канале или репост ниже 👇

Вы спросили —Дядя отвечает. Истина находится где-то по середине. Действительно на нашем рынке можно встретить множество решений вокруг открытых моделей с huggingface или же апи модных нынче Midjourney.  Это может работать по принципу перевел с ру на ен и вкинул в апиху, далее выдал результат. Обычно, на старте, это было уделом малых команд, стартапов и пр.

На самом деле, ничего в этом зазорного нет, те же ребята с Perplexity строить свое решение начали именно вокруг топовых апи LLM (OpenAI, Google, Anthropic и т.п.).  Но при этом perplexity имеют свою доп. логику с поиском, линковкой фактов и пр. Что делает ее решение аналогом поисковика "в кармане".  После, они еще и собственные тюны моделей Llama like завезли, благо лицензия открытая позволяет. И это имеет спрос.
Т.е. более крупные игроки, стараются использовать такие решения для холодного старта или во все опираясь на открытые сеты , модели или архитектуры делать собственные решения/тюны/модели. И я думаю, что крупные игроки нашего рынка достигли уже того уровня зрелости, когда могут позволить себе свои исследования, и как следствие, свои решения в виде моделей и сервисов.

Вопрос остается только в источниках данных. Такое поведение, как мы видим на видео, может быть обусловлено, влиянием сетов обучения. Т.к. на рынке множество открытых сетов на английском языке для задач text2image, а для русского языка примеров много меньше. Создание таких ру-ен данных требует затрат на написание/генерацию и чистку. А в открытых сетах для обучения может возникать дисбаланс по ру-ен паре и как следствие превалирование этики из сетов коих больше. Поэтому тот же native/родной после предобучения на таких примерах будет носить знания культуры того языка коего больше. Тк в основном это все переводы с ен языка на ру как есть, да ещё к релевантным для ен языка картинкам. Для того, чтобы решить проблему "перекоса", не достаточно балансировки знаний, надо писать/матчить именно опорные ру тексты с "правильными" картинками к ним,а также придется, скорее всего, прибегнуть к выравниванию поведения — привет alignment/ human feedback и тп. А далее, вооружившись всем этим, нужно будет решать вопросы тюна с эмбеддером text2image, чтобы для языковой пары запрос сводился к "правильной картинке". Именно его представления будут использоваться диффузией как базой генерации. И в тч над этим, думаю, работают исследовательские команды крупных игроков.

Но нет предела совершенству, это непрерывный процесс дообучения и отлова "черных лебедей". Вот как-то так.

На поиск нужных каналов в Telegram может уйти очень много времени, поэтому ловите очередную папку каналов, на этот раз про ИИ:

https://www.tgoop.com/addlist/pqfkNeFjRnU5NDFi

Особенно мне нравятся ребята Tips AI - там не про внутрянку ИИ (этого мне итак в жизни хватает), а посты про очередные нейросетевые сервисы, которые могут ускорить выполнение ваших задач

Ну и, конечно, куда без Саши Dealer.AI :)

Если вы хотите узнать о том, что происходит в сфере IT-менеджмента, как на самом деле создают продукты и прокачивают команды, то загляните на канал «Кем я хочу стать, когда вырасту».

Автор канал с 10+ опытом тимлидства в IT в формате заметок честно делится наблюдениями, успехами и провалами:
- о работающих методах мотивации команд
- стоит ли стремиться в руководители на самом деле
- почему на рынок выходит так много слабых продуктов

Реклама. ИП Миронова Надежда Олеговна, ИНН: 772985604739 erid:2VtzqvK2rLg

Как я учился ML

В новом ролике на канале MLinside рассказал, как я учился машинному обучению и что могу посоветовать тем, кто хочет научиться ML сейчас.

Меньше 15 минут видео (а на х1.5 даже 10 минут), и вы узнаете, хорошо ли идти за ML в университет, какие университетские курсы самые классные, а также в чем плюсы и минусы самообразования и коммерческих курсов :)

Кратко по сути: компании нанимают супер-дорогих технарей не для того, чтобы их календарь превращали в зебру, после которой ничего толкового сделано не будет. Если вы менеджер, и у вас есть опция поставить разрабу или DSу две встречи подряд либо две встречи с интервалом в час - выбирайте пожалуйста первое, иначе вы будете просто сжигать деньги бизнеса напрасно только потому что вы тупой 🫶🏼