Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Забрал из коментов ибо прекрасно.
Звёздные войны в стиле пластилиновой вороны.
Это просто Лора для Flux.
Звёздные войны в стиле пластилиновой вороны.
Это просто Лора для Flux.
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Media is too big
VIEW IN TELEGRAM
Машина времени на стероидах ИИ.
Помните Микрософтик предложил записывать все, что происходит у вас на компе, чтобы потом иметь "машину времени"?
Их, правда сравняли с грунтом поборники приватности.
Помните эту брошку, которая типа записывает звук того, что происходит вокруг вас, а потом использует этопротив для вас - расшифровка вашего дня (не взлетит).
В топку.
Вот держите нормальный концепт.
(он уже был озвучен в раннем чорном зеркале - помните контактные линзы, которые записывают всё?).
Только теперь тут еще есть ИИ, который анализирует и расшифровывает происходящее в кадре, сохраняя не только записи, но и "понимание" того, что происходило. Круто для разбора конфликтов, переговоров или семейной терапии.
Ну и самое главное. Это ВООБЩЕ не кажется мне вымыслом, сценарием сериала или концептом.
У Метачки есть очки для этого.
Полно LLM для расшифровки видео и картинок.
Бери и делай.
Снапчат, поднимай веки, твоя тема.
Помните Микрософтик предложил записывать все, что происходит у вас на компе, чтобы потом иметь "машину времени"?
Их, правда сравняли с грунтом поборники приватности.
Помните эту брошку, которая типа записывает звук того, что происходит вокруг вас, а потом использует это
В топку.
Вот держите нормальный концепт.
(он уже был озвучен в раннем чорном зеркале - помните контактные линзы, которые записывают всё?).
Только теперь тут еще есть ИИ, который анализирует и расшифровывает происходящее в кадре, сохраняя не только записи, но и "понимание" того, что происходило. Круто для разбора конфликтов, переговоров или семейной терапии.
Ну и самое главное. Это ВООБЩЕ не кажется мне вымыслом, сценарием сериала или концептом.
У Метачки есть очки для этого.
Полно LLM для расшифровки видео и картинок.
Бери и делай.
Снапчат, поднимай веки, твоя тема.
Как же мне нравится что делает этот бот =) FLUX + re-prompting теперь я не думаю даже где буду генерить картинку для курса, канала, или поста
Проект будет развиваться как бесплатный
@DaisyImagebot
Блин делитесь в коментах что нагенерили)) Мне же интересно!
Проект будет развиваться как бесплатный
@DaisyImagebot
Блин делитесь в коментах что нагенерили)) Мне же интересно!
Forwarded from Valerii Kovalskii
Media is too big
VIEW IN TELEGRAM
Мне тут в голову пришла странная мысль после постов о том как один парень запустил на 2 Mac Pro 405b int4 локально
Думаю а чем я хуже завтра перелет хочу потыкать LLM на ноуте
Но у меня ноут на M1 16GB
В общем cпека получились такая
1) ollama качем и ставим
Далее
2)
В любом терминале
Потом если у вас запущен сервер Ollama то можно запустить интерфейс с RAG там под капотом Chroma с простым чанкингом с перекрытием можно вектора через llama получить
Интерфейс у нас будет openweb я к нему привык
Значит можно запустить его через докер что бы не парится с зависимостями
Дальше проходим регистрацию и получаем локальную LLM для полетов или мест где нету интернета)))
Скорость работы на видосе
ollama user llama.cpp
Старые бенчи вот тут
https://github.com/ggerganov/llama.cpp/discussions/4167
Если у вас по больше памяти то дотступны модели для скачивания
8b
latest
4.7GB
70b
40GB
405b
229GB
8b-instruct-fp16
16GB
8b-instruct-q2_K
3.2GB
8b-instruct-q3_K_S
(список огромный)
Думаю а чем я хуже завтра перелет хочу потыкать LLM на ноуте
Но у меня ноут на M1 16GB
В общем cпека получились такая
1) ollama качем и ставим
Далее
2)
ollama run llama3.1
В любом терминале
Потом если у вас запущен сервер Ollama то можно запустить интерфейс с RAG там под капотом Chroma с простым чанкингом с перекрытием можно вектора через llama получить
Интерфейс у нас будет openweb я к нему привык
Значит можно запустить его через докер что бы не парится с зависимостями
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Дальше проходим регистрацию и получаем локальную LLM для полетов или мест где нету интернета)))
Скорость работы на видосе
ollama user llama.cpp
Старые бенчи вот тут
https://github.com/ggerganov/llama.cpp/discussions/4167
Если у вас по больше памяти то дотступны модели для скачивания
8b
latest
4.7GB
70b
40GB
405b
229GB
8b-instruct-fp16
16GB
8b-instruct-q2_K
3.2GB
8b-instruct-q3_K_S
(список огромный)
Cделал очень приятное обновление для бота FLUX+re-prompting на базе llama3.1
Теперь вам доступен ваш улучшеный промпт!
Можете забирать его что бы вставить в любой другой генератор изображений!
@DaisyImagebot
Вы уже сгенерировали 1000 картинок продолжайте в том же духе!
Закидывайте в комментариях ваши предложения по улучшению
Теперь вам доступен ваш улучшеный промпт!
Можете забирать его что бы вставить в любой другой генератор изображений!
@DaisyImagebot
Вы уже сгенерировали 1000 картинок продолжайте в том же духе!
Закидывайте в комментариях ваши предложения по улучшению
Forwarded from эйай ньюз
Сверхзвуковые LLM
Llama 3 70B запустили на скорости в 450 токенов в секунду. А 8B - на бешенных 1800 токенов в секунду. Это всё без квантизации, да и цена не кусается - API стоит 10 центов за лям токенов для 8B и 60 для 70B. Предыдущий рекорд по скорости побили в более чем два раза для 8B. В будущем обещают добавить больше моделей, начиная с Llama 3.1 405B
Сделал это стартап Cerebras. Он производит железо для нейронок, известен самым большим чипом в мире (в 57 раз больше по размеру H100!). Предыдущий рекорд по скорости поставил тоже стартап со своим железом - Groq.
Хороший пример того что специализированные только под нейронки чипы вроде могут в разы превосходить видеокарты по скорости инференса, а ведь скоро ещё будут чипы которые заточены под конкретные модели, например Sohu. Кстати, давно хотел разобрать разные стартапы по производству железа и разницу их подходов. Интересно?
Попробовать можно тут.
@ai_newz
Llama 3 70B запустили на скорости в 450 токенов в секунду. А 8B - на бешенных 1800 токенов в секунду. Это всё без квантизации, да и цена не кусается - API стоит 10 центов за лям токенов для 8B и 60 для 70B. Предыдущий рекорд по скорости побили в более чем два раза для 8B. В будущем обещают добавить больше моделей, начиная с Llama 3.1 405B
Сделал это стартап Cerebras. Он производит железо для нейронок, известен самым большим чипом в мире (в 57 раз больше по размеру H100!). Предыдущий рекорд по скорости поставил тоже стартап со своим железом - Groq.
Хороший пример того что специализированные только под нейронки чипы вроде могут в разы превосходить видеокарты по скорости инференса, а ведь скоро ещё будут чипы которые заточены под конкретные модели, например Sohu. Кстати, давно хотел разобрать разные стартапы по производству железа и разницу их подходов. Интересно?
Попробовать можно тут.
@ai_newz
Forwarded from Data Secrets
Сколько параметров в GPT-4o mini?
Конечно, сама компания в последнее время не раскрывает ни деталей реализации, ни даже количества параметров своих моделей. Но бесследно разработка все равно не проходит, поэтому на Реддит погадали на фактах и... получилось примерно 8В. Вот почему:
▪️ Из утечки препринтов Microsoft известно, что GPT 3.5 Turbo – это 20B модель (см.скрин). В OpenAI заявляли, что GPT-4o mini стоит на 60% меньше, чем предшественник. Несложная математика: 20-60% = 8B
▪️ Microsoft имеет все доступы к моделям OpenAI и, вероятно, осведомлены об архитектурах. Они также пытаются приблизить свои модели к производительности OpenAI, используя, скорее всего, те же подходы. Так что по таким релизам, как Phi 3.5, можно отдаленно судить об архитектурах OpenAI.
▪️ Ужа давно ходили слухи, что GPT-4 имела 16 экспертов (это MoE). Учитывая, что новая Phi 3.5 MoE от Microsoft – это тоже 16 экспертов, и принимая во внимание пункт 2, можно предположить, что GPT-4o mini – это тоже 16 экспертов по примерно 4В параметров. Получается как раз 8В активных.
Кстати, новая архитектура тоже не исключена. Возможно, в OpenAI используют что-то вроде hybrid-mamba 2.
Конечно, сама компания в последнее время не раскрывает ни деталей реализации, ни даже количества параметров своих моделей. Но бесследно разработка все равно не проходит, поэтому на Реддит погадали на фактах и... получилось примерно 8В. Вот почему:
Кстати, новая архитектура тоже не исключена. Возможно, в OpenAI используют что-то вроде hybrid-mamba 2.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from martianov_dev
Media is too big
VIEW IN TELEGRAM
Разработка на Defold часто начинается с чувством, что сталкиваешься с постоянными ограничениями. То, что в других движках можно реализовать за пару часов, в Defold требует написания низкоуровневых решений и интеграции их в пайплайн рендера, а также архитектуру проекта, жестко диктуемую движком. Изоляция работы с GUI, миром и рендер-скриптами тоже накладывает свои ограничения. Но знаете что? Это здорово! 👍 У меня гораздо меньше шансов упороться в спагетти код, мне движок это просто не позволит. Эти сложности способствуют созданию более оптимизированного и чистого кода. Благодаря таким особенностям Defold игры на этом движке часто отличаются высокой производительностью. Любые затраченные усилия обязательно окупаются, и я восхищаюсь результатами, которых удается достичь с его помощью.
Что касается того, что я успел реализовать: наконец, я реализовал тени от точечного источника освещения — давно хотел это сделать! Даже эффект туманности до сих пор меня впечатляет, а добавление теней стало приятным дополнением. В последнее время разработчики Defold сделали большой шаг вперед в работе с шейдерами, и благодаря этому реализовать свои задумки стало гораздо проще. Надеюсь, вскоре появятся новые структуры данных, такие как массив сэмплеров или возможность динамически создавать кубические карты и рендерить в них. Ну а пока работаем с тем, что есть, и наслаждаемся процессом!
Что касается того, что я успел реализовать: наконец, я реализовал тени от точечного источника освещения — давно хотел это сделать! Даже эффект туманности до сих пор меня впечатляет, а добавление теней стало приятным дополнением. В последнее время разработчики Defold сделали большой шаг вперед в работе с шейдерами, и благодаря этому реализовать свои задумки стало гораздо проще. Надеюсь, вскоре появятся новые структуры данных, такие как массив сэмплеров или возможность динамически создавать кубические карты и рендерить в них. Ну а пока работаем с тем, что есть, и наслаждаемся процессом!
Neural Deep
Апдейт По мимо загрузки - Голосовых - Файлов аудио (примерно все форматы так как там ffmpeg под капотом для конвертации) Можно теперь загрузить видео + Появилась возможность разделить по ролям + Теперь есть два разных интерфейса (для групп он упрощенный)…
Транскрбация ваших встреч и голосовых!
Совместно с @mixaill76 улучшил показания метрик WER до 6% на русском языке!
https://www.tgoop.com/daisytranscribe_bot
Теперь там тюненая модель под русский язык
Из новостей
Для больших аудио отдельный бекенд!
Очереди, ваш файл не потеряется!
Каждая запись закрепляется в чате ботом для удобного поиска.
И вишенка на торте саммари можно получить через gpt-4o-mini
И бот работает в группах!
Совместно с @mixaill76 улучшил показания метрик WER до 6% на русском языке!
https://www.tgoop.com/daisytranscribe_bot
Теперь там тюненая модель под русский язык
Из новостей
Для больших аудио отдельный бекенд!
Очереди, ваш файл не потеряется!
Каждая запись закрепляется в чате ботом для удобного поиска.
И вишенка на торте саммари можно получить через gpt-4o-mini
И бот работает в группах!
Neural Deep
Как создать свою умную базу знаний с помощью RAG и LLM (уровень сложности 1) В последнее время термин RAG (Retrieval-Augmented Generation) стал часто встречаться в обсуждениях технологий искусственного интеллекта. Это слово мелькает повсюду: "RAG это", "RAG…
Привет всем!
И вот, наконец, мы нашли время с моим LLM инженером и собрали для вас материалы. Далее, в течение следующей недели, я поделюсь информацией с теми, кто записался на курс. Их оказалось больше 30 человек, поэтому мы разделили их на две группы:
1) Те, кто хотел проверить свои силы в создании RAG агента через фронтенд.
2) Те, кто хотел создать RAG агента через код, используя наше АПИ.
Тайминг следующий:
1) В течение этой недели мы разделем вас на две группы и пришлем всем уведомление в ЛС.
2) Через 2 недели проведем вводный стрим в zoom, где я расскажу вводную информацию про RAG и что это такое, также отвечу на вопросы (1 час).
3) Максимально быстро вы получите материалы и доступы для самостоятельного изучения.
4) Через пару дней проведем еще один стрим с лайв кодингом, где я покажу, как создать агента через вэб и через код (2 часа).
Далее вы сможете задавать вопросы мне в лс либо под постами со стримами!
Все будет записываться и выкладываться сюда в канал.
И вот, наконец, мы нашли время с моим LLM инженером и собрали для вас материалы. Далее, в течение следующей недели, я поделюсь информацией с теми, кто записался на курс. Их оказалось больше 30 человек, поэтому мы разделили их на две группы:
1) Те, кто хотел проверить свои силы в создании RAG агента через фронтенд.
2) Те, кто хотел создать RAG агента через код, используя наше АПИ.
Тайминг следующий:
1) В течение этой недели мы разделем вас на две группы и пришлем всем уведомление в ЛС.
2) Через 2 недели проведем вводный стрим в zoom, где я расскажу вводную информацию про RAG и что это такое, также отвечу на вопросы (1 час).
3) Максимально быстро вы получите материалы и доступы для самостоятельного изучения.
4) Через пару дней проведем еще один стрим с лайв кодингом, где я покажу, как создать агента через вэб и через код (2 часа).
Далее вы сможете задавать вопросы мне в лс либо под постами со стримами!
Все будет записываться и выкладываться сюда в канал.
Новая модель от OpenAI: o1
OpenAI представила новую языковую модель o1, которая значительно превосходит GPT-4o по различным показателям. Модель o1 демонстрирует выдающиеся результаты в задачах, требующих сложных рассуждений, таких как соревновательное программирование, математические олимпиады и вопросы научного уровня PhD. Однако для более простых задач, где сложные рассуждения не требуются, её преимущества менее заметны.
Основной прорыв модели o1 заключается в способности масштабировать инференс через Chain of Thought (CoT). Чем больше вычислительных ресурсов используется, тем лучше результаты модели.
Модель o1 доступна с сегодняшнего дня для всех пользователей API и подписчиков ChatGPT, а также для разработчиков пятого уровня (те, кто потратил более $1k на API).
Подробнее об этом можно узнать в официальном посте анонса: Learning to Reason with LLMs .
🍓 o1 - новая моделька от OpenAI, та самая!
https://openai.com/index/learning-to-reason-with-llms/
OpenAI представила новую языковую модель o1, которая значительно превосходит GPT-4o по различным показателям. Модель o1 демонстрирует выдающиеся результаты в задачах, требующих сложных рассуждений, таких как соревновательное программирование, математические олимпиады и вопросы научного уровня PhD. Однако для более простых задач, где сложные рассуждения не требуются, её преимущества менее заметны.
Основной прорыв модели o1 заключается в способности масштабировать инференс через Chain of Thought (CoT). Чем больше вычислительных ресурсов используется, тем лучше результаты модели.
Модель o1 доступна с сегодняшнего дня для всех пользователей API и подписчиков ChatGPT, а также для разработчиков пятого уровня (те, кто потратил более $1k на API).
Подробнее об этом можно узнать в официальном посте анонса: Learning to Reason with LLMs .
🍓 o1 - новая моделька от OpenAI, та самая!
https://openai.com/index/learning-to-reason-with-llms/
Forwarded from epsilon correct
Пример решения довольно нетривиальной задачки, с которой текущие модели не справляются
Please open Telegram to view this post
VIEW IN TELEGRAM
Нашел окно провести kick off встречу по RAG интенсиву на следующей неделе
17 Сентября вторник в 11:30
все кто записался получат приглашение
Запись для тех кто не сможет подключится пришлем отдельно
Так же нарезки выложу отдельно в канал
#intensive
17 Сентября вторник в 11:30
все кто записался получат приглашение
Запись для тех кто не сможет подключится пришлем отдельно
Так же нарезки выложу отдельно в канал
#intensive
Утечка дорожной карты по достижению AGI от OpenAI
OpenAI представила пятиуровневую систему достижения AGI. Вот как выглядит этот путь:
1. Уровень 1: Чат-боты — ИИ с разговорным языком.
2. Уровень 2: Рассуждения — Решение проблем на уровне человека.
3. Уровень 3: Агенты — Системы, способные выполнять действия.
4. Уровень 4: Инноваторы — ИИ, помогающий в изобретениях.
5. Уровень 5: Организации — ИИ, выполняющий работу целой компании.
С релизом o1 мы находимся на пороге Уровня 2.
Следующий большой шаг может означать ИИ, умнее вашего самого гениального друга.
Последние 10 лет стоим на пороге открытия AGI 😂
OpenAI представила пятиуровневую систему достижения AGI. Вот как выглядит этот путь:
1. Уровень 1: Чат-боты — ИИ с разговорным языком.
2. Уровень 2: Рассуждения — Решение проблем на уровне человека.
3. Уровень 3: Агенты — Системы, способные выполнять действия.
4. Уровень 4: Инноваторы — ИИ, помогающий в изобретениях.
5. Уровень 5: Организации — ИИ, выполняющий работу целой компании.
С релизом o1 мы находимся на пороге Уровня 2.
Следующий большой шаг может означать ИИ, умнее вашего самого гениального друга.
Последние 10 лет стоим на пороге открытия AGI 😂