Прошло уже больше 6 лет с последнего open source релиза LLM от Open AI (это была модель GPT-2 в феврале 2019), и вот Альтман говорит, что в ближайшее время планируется релиз новой открытой модели🙈 Верим?
https://techcrunch.com/2025/03/31/openai-plans-to-release-a-new-open-language-model-in-the-coming-months/
https://techcrunch.com/2025/03/31/openai-plans-to-release-a-new-open-language-model-in-the-coming-months/
TechCrunch
OpenAI plans to release a new 'open' AI language model in the coming months | TechCrunch
OpenAI has announced that it intends to release its first 'open' language model since GPT‑2 sometime in 2025.
Forwarded from Институт AIRI
Как удаление знаков препинания и артиклей в запросе снижает точность языковых моделей до 20%⤵️
Исследователи AIRI обнаружили, что знаки препинания и артикли играют более важную роль в обработке информации языковыми моделями, чем кажется на первый взгляд. Это удалось узнать с помощью метода, который позволяет определить, какие именно данные сохраняются в связке с конкретными токенами.
В серии экспериментов исследователи использовали тексты, из которых заранее убрали элементы, кажущиеся незначительными для логики повествования: знаки препинания, артикли и стоп-слова. Для этого систему обучили анализировать последовательность токенов и восстанавливать текст. Оказалось, что больше всего информации о контексте содержится именно в стоп-словах. Затем поставили перед несколькими популярными языковыми моделями задачу — решить, какие элементы текста, с точки зрения человека, можно удалить. Проверка подтвердила, что, если убрать из формулировки технического задания такие «незначительные» символы, качество работы модели падает.
📎 Код для анализа работы языковых моделей доступен по ссылке.
Исследователи AIRI обнаружили, что знаки препинания и артикли играют более важную роль в обработке информации языковыми моделями, чем кажется на первый взгляд. Это удалось узнать с помощью метода, который позволяет определить, какие именно данные сохраняются в связке с конкретными токенами.
В серии экспериментов исследователи использовали тексты, из которых заранее убрали элементы, кажущиеся незначительными для логики повествования: знаки препинания, артикли и стоп-слова. Для этого систему обучили анализировать последовательность токенов и восстанавливать текст. Оказалось, что больше всего информации о контексте содержится именно в стоп-словах. Затем поставили перед несколькими популярными языковыми моделями задачу — решить, какие элементы текста, с точки зрения человека, можно удалить. Проверка подтвердила, что, если убрать из формулировки технического задания такие «незначительные» символы, качество работы модели падает.
Please open Telegram to view this post
VIEW IN TELEGRAM
Я участвую в Программном комитете AiConf X 2025 — конференции по Data Science от Онтико, организаторов HighLoad++ и TeamLeadConf 🌟
Сейчас мы ищем сильных спикеров и доклады по темам:
🟡 RecSys, поиск, таблицы
🟡 Генеративный AI: генерация и распознавание текстов, музыки, изображение, видео, рerception
🟡 ML Edge — оптимизация обучения и инференса, дистилляция, квантизация, hardware и т.д.
🟡 Automotive, роботы
🟡 Обработка данных и бенчмарки
Акцент конференции на практические форматы: мастер-классы, воркшопы, круглые столы и т.д.
Даже если ваша тема отличается от перечисленных, присылайте заявки🙂
10 апреля в 17:00 приглашаем на бесплатную онлайн-встречу с программным коммитетом, где обсудим темы конференции, идеи и ответим на вопросы. Встреча неформальная, нужно пройти регистрацию!
Жду ваши доклады!
Сейчас мы ищем сильных спикеров и доклады по темам:
Акцент конференции на практические форматы: мастер-классы, воркшопы, круглые столы и т.д.
Даже если ваша тема отличается от перечисленных, присылайте заявки
10 апреля в 17:00 приглашаем на бесплатную онлайн-встречу с программным коммитетом, где обсудим темы конференции, идеи и ответим на вопросы. Встреча неформальная, нужно пройти регистрацию!
Жду ваши доклады!
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️⚡️⚡️И вот снова приближается Лето с AIRI, где моя лаборатория будет представлена в трёх треках:
📍Мультимодальные модели для видео
📍Генеративные модели для параметрических данных
📍World Models (совместно с @causality_links)
Мы подготовим очень крутой материал на базе проводимых исследований, в том числе с описанием ряда прикладных продуктовых кейсов, где нам удалось апробировать полученные результаты. Поделимся процессом поиска эффективных решений и результатом выбора наилучших из них.
Летняя школа пройдёт с 30.06 по 10.07 на базе Томского государственного университета. Участникам, прошедшим отбор, понадобится самостоятельно покрыть только транспортные расходы.
Если ты бакалавр 2-4 курса, магистр, аспирант или молодой учёный, то…
👉 Регистрируйся по ссылке до 29 апреля включительно
👉 Пиши крутую заявку на участие в отборе
👉 Приезжай и получай возможность интенсивно прокачаться за лето, найти новых единомышленников и может быть даже подготовить свою первую статью на топ конференцию
❓Вопросы можно оставлять под постом
Делитесь, распространяйте
https://www.tgoop.com/airi_research_institute/825
📍Мультимодальные модели для видео
📍Генеративные модели для параметрических данных
📍World Models (совместно с @causality_links)
Мы подготовим очень крутой материал на базе проводимых исследований, в том числе с описанием ряда прикладных продуктовых кейсов, где нам удалось апробировать полученные результаты. Поделимся процессом поиска эффективных решений и результатом выбора наилучших из них.
Летняя школа пройдёт с 30.06 по 10.07 на базе Томского государственного университета. Участникам, прошедшим отбор, понадобится самостоятельно покрыть только транспортные расходы.
Если ты бакалавр 2-4 курса, магистр, аспирант или молодой учёный, то…
👉 Регистрируйся по ссылке до 29 апреля включительно
👉 Пиши крутую заявку на участие в отборе
👉 Приезжай и получай возможность интенсивно прокачаться за лето, найти новых единомышленников и может быть даже подготовить свою первую статью на топ конференцию
❓Вопросы можно оставлять под постом
Делитесь, распространяйте
https://www.tgoop.com/airi_research_institute/825
Forwarded from Valuable AI
до меня долетела статья с Хабра про то, как человек тестирует LLM на общении в Тиндере на предмет того, как быстро собеседник поймет, что с ним разговаривает бот; при этом, по всей видимости этот гражданин не знает о существовании теста Тьюринга
я конечно несколько опешил от такого невежества, но с другой стороны это дало мне повод написать про свежую статью, в которой были протестированы GPT-4.5 и LLaMa 3.1 как раз в контексте теста Тьюринга; результаты представлены на картинке к посту; из интересного, ELIZA оказалась по этому тесту лучше GPT-4o; кому интересно, я про нее недавно писал
второй факт, который на мой взгляд резко переносит нас из точки "настоящее" в точку "будущее" - это 73% побед для GPT-4.5; это означает, что уже сейчас есть ИИ, который в разговоре в 3 из 4 случаев не отличить от человека; эра беспрецедентного телефонного мошенничества не за горами, а буквально уже наступила; такие дела
P.S. забавный факт, в той хабростатье тоже неожиданно лучше всех оказалась GPT-4.5;ссылка на Хабр
я конечно несколько опешил от такого невежества, но с другой стороны это дало мне повод написать про свежую статью, в которой были протестированы GPT-4.5 и LLaMa 3.1 как раз в контексте теста Тьюринга; результаты представлены на картинке к посту; из интересного, ELIZA оказалась по этому тесту лучше GPT-4o; кому интересно, я про нее недавно писал
второй факт, который на мой взгляд резко переносит нас из точки "настоящее" в точку "будущее" - это 73% побед для GPT-4.5; это означает, что уже сейчас есть ИИ, который в разговоре в 3 из 4 случаев не отличить от человека; эра беспрецедентного телефонного мошенничества не за горами, а буквально уже наступила; такие дела
P.S. забавный факт, в той хабростатье тоже неожиданно лучше всех оказалась GPT-4.5;
Очень люблю разные визуализации риалтайм событий. Раньше в Самарском универе делали онлайн карту движения гор транспорта на модном тогда HTML5, когда Яндекс.Транспорта ещё не существовало. Тогда же появилось приложение мобильное "Прибывалка-63" и онлайн можно было посмотреть каждый автобус, трамвай и троллейбус (это к слову были 2012-2013 г.г.!). А в конце января 2025-го пришли какие-то персоны из деп транспорта и под какими-то не особо обоснованными предлогами доступ к данным закрыли и сервис с приложением перестали радовать жителей Самары...
"Мы никому не скажем, когда займёмся оптимизацией, но знаки будут")
А вспомнил я про это потому, что недавно набрёл на live карту Лондонского метро, и ностальгия посетила 👇
https://www.londonunderground.live/
"Мы никому не скажем, когда займёмся оптимизацией, но знаки будут")
А вспомнил я про это потому, что недавно набрёл на live карту Лондонского метро, и ностальгия посетила 👇
https://www.londonunderground.live/
Не участвовал в разработке Llama 4 — можно рассмотреть резюме😅
Спасибо @data_secrets за весёлый инсайт
Спасибо @data_secrets за весёлый инсайт
Forwarded from Институт AIRI
This media is not supported in your browser
VIEW IN TELEGRAM
Отметили четырёхлетие Института!
Все сердца AIRI сегодня — для вас ❤️
Все сердца AIRI сегодня — для вас ❤️
Приглашаю вас на открытую лекцию от DeepSchool, чтобы разобраться в одном из ключевых вопросов: есть ли жизнь после релиза?
После запуска модели работа не заканчивается. Начинаются новые испытания: модель деградирует, количество новых пользователей растёт, а для эффективной поддержки у команды нет лишних рук. Важно заранее предугадывать, где и что может пойти не так.
На лекции узнаете:
▶️ как в реальности выглядит цикл жизни CV-модели
▶️ как выстраивать поддержку: что можно автоматизировать, а что — нет
▶️ как следить за качеством модели: дрифты, аутлаеры, шум, ключевые метрики
▶️ какие есть подходы для автоматизации мониторинга модели
▶️ и спроектируте возможное решение на примере реальной задачи
Также все участники лекции получат программу курса CV Rocket и скидки на обучение📕
Обо всём этом расскажут:
⏩ Анастасия Старобыховская — руководитель CV-направления НЛМК ИТ
⏩ Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer, KoronaPay
Регистрируйтесь по ссылке и подключайтесь 24 апреля, четверг, 18:00 МСК.
После запуска модели работа не заканчивается. Начинаются новые испытания: модель деградирует, количество новых пользователей растёт, а для эффективной поддержки у команды нет лишних рук. Важно заранее предугадывать, где и что может пойти не так.
На лекции узнаете:
Также все участники лекции получат программу курса CV Rocket и скидки на обучение
Обо всём этом расскажут:
Регистрируйтесь по ссылке и подключайтесь 24 апреля, четверг, 18:00 МСК.
Please open Telegram to view this post
VIEW IN TELEGRAM
📍На этой неделе я решил посетить конференцию Machines can see 2025, пока большинство моих коллег поехало на ICLR. Довольно интересные дискуссии происходят, много внимания уделяется прикладным задачам, которые можно решать на базе VLM/LLM.
Крупные компании показывают свои разработки в области ускорения развертывания моделей, NVidia показывала свой фреймворк для использования LLM as a microservice, Google говорит о geospatial reasoning, квантовых вычислениях, создании помощников для задач медицины, образования, copilot для учёных исследователей. Постараюсь дальше чуть подробнее рассказать про некоторые интересные инсайты.
#MCS2025
Крупные компании показывают свои разработки в области ускорения развертывания моделей, NVidia показывала свой фреймворк для использования LLM as a microservice, Google говорит о geospatial reasoning, квантовых вычислениях, создании помощников для задач медицины, образования, copilot для учёных исследователей. Постараюсь дальше чуть подробнее рассказать про некоторые интересные инсайты.
#MCS2025