Пространство смыслов или как мыслит ИИ
tldr: он не использует слова, вместо них - вектора в 1000-мерном пространстве
Возможно, вы уже успели убедиться, что современный ИИ прекрасно воспринимает текстовую информацию — он "понимает" все, что вы ему напишете и "рассуждает" на уровне образованного собеседника. Однако удивительно мало внимания уделяется тому, как ИИ информацию обрабатывает и как образы, выраженные словами, превращаются в понятные машине нули и единицы. Серия постов, где я вместе с вами разбираюсь в возможностях и ограничениях GPT-подобных систем.
Начнем с того как воспринимаем информацию мы. Сознание человека привыкло оперировать словами и связанными с ними образами, позволяя нам складывать конструкции более высоких уровней абстракции. При этом помимо внутренней логики языка, мы осознаем логики причинно-следственных связей, эмоций и чувств, времени и пространства, звука, цвета и так далее. То есть наше сознание хотя и тексто-центрично, языком не исчерпывается (хотя философы на эту тему спорят).
ИИ не такой, кроме текста он не знает вообще ничего и только-только начинает добавлять в свою картину мира изображения. То есть он не понимает категории времени, но помнит все, что о времени было написано, например, с какой вероятностью после слова “время” встречается слово “идёт”, а с какой — “песок, время вода, скажи мне да”. И хотя интерфейсы для нашего взаимодействия с ИИ — это по сути слова, все расчеты в нейронных сетях сводятся к числам. Основой для "понимания" языка у ИИ являются не буквы и слова, а т.н. вектора в многомерном пространстве смыслов (vector embeddings). Поэтому при каждом запросе текст переносится в это пространство смыслов специального типа функцией (word2vec). Эту операцию можно представлять переводом с любого из человеческих языков на язык ИИ. В частном случае openAI у этого пространства 1536 измерений, у google - 768, но это детали. Главное здесь:
1. вектора в этом пространстве описывают все понятия и явлении, которые только могут быть выражены в языке
2. в том что для трехмерного сознания кожаных мешков размерность любого из этих пространств достаточно большое, чтобы не суметь осознать его примерно никогда. привет всем, кто пытался представить 4-мерый куб.
3. несмотря на семантическую природу пространства и привязку к языку, все операции над текстов сводятся к математическим операциям над векторами. их можно складывать и это равносильно сложению смысла слов в предложениях, или умножать — их скалярное произведение описывает, насколько два текста на любом из человеческих языков близки по смыслу между собой. причем для таких расчетов машине больше не нужно ничего "понимать", нужно (заткнуться) и считать.
Например, так выглядит слово “кот” в гугловском пространстве, определенном функцией BERT (фото 1).
Каждая координата этого вектора - число с плавающей точкой (float), которое уже записывается в память компьютера и занимает там 4 байта.
- Каждый такой вектор занимает 4 байта х размерность 768 = 3 кБ
- При этом слово занимает 2 байта на символ UTF-8 х 3 буквы в слове “кот” = 6 Б
Разница в 500 раз. Векторная запись одного слова занимаете памяти как целая страница текста. Дело в том, что помимо самого слова в нем хранится информация о понятии “кот” — сколько у него лап, какие он издает звуки и все, что нашлось в обучающей выборке, точнее какие слова встречались рядом со словом "кот" в текстах обучающей выборки .
Чудо в том, что после всех операций и обратной конвертации этих векторов на человеческий, получаются тексты связные не только на уровне последовательностей слов, но и на уровне причинно-следственных связей, о которых машина не имеет никакого представления. И чудо это заключено в конкретном способе трансформации текста в векторы, в количестве измерений и различных способах оптимизации. И уже существующие способы, хотя и хороши, все еще может быть улучшены значительно (до 40%). И это одна из точек активного приложения усилий ИИ-исследователей прямо сейчас.
1. Демо - уровень абстракции #1 - скрины отсюда ниже
2. Как работает Google BERT
3. Документация openAI
#AI #language
Возможно, вы уже успели убедиться, что современный ИИ прекрасно воспринимает текстовую информацию — он "понимает" все, что вы ему напишете и "рассуждает" на уровне образованного собеседника. Однако удивительно мало внимания уделяется тому, как ИИ информацию обрабатывает и как образы, выраженные словами, превращаются в понятные машине нули и единицы. Серия постов, где я вместе с вами разбираюсь в возможностях и ограничениях GPT-подобных систем.
Начнем с того как воспринимаем информацию мы. Сознание человека привыкло оперировать словами и связанными с ними образами, позволяя нам складывать конструкции более высоких уровней абстракции. При этом помимо внутренней логики языка, мы осознаем логики причинно-следственных связей, эмоций и чувств, времени и пространства, звука, цвета и так далее. То есть наше сознание хотя и тексто-центрично, языком не исчерпывается (хотя философы на эту тему спорят).
ИИ не такой, кроме текста он не знает вообще ничего и только-только начинает добавлять в свою картину мира изображения. То есть он не понимает категории времени, но помнит все, что о времени было написано, например, с какой вероятностью после слова “время” встречается слово “идёт”, а с какой — “песок, время вода, скажи мне да”. И хотя интерфейсы для нашего взаимодействия с ИИ — это по сути слова, все расчеты в нейронных сетях сводятся к числам. Основой для "понимания" языка у ИИ являются не буквы и слова, а т.н. вектора в многомерном пространстве смыслов (vector embeddings). Поэтому при каждом запросе текст переносится в это пространство смыслов специального типа функцией (word2vec). Эту операцию можно представлять переводом с любого из человеческих языков на язык ИИ. В частном случае openAI у этого пространства 1536 измерений, у google - 768, но это детали. Главное здесь:
1. вектора в этом пространстве описывают все понятия и явлении, которые только могут быть выражены в языке
2. в том что для трехмерного сознания кожаных мешков размерность любого из этих пространств достаточно большое, чтобы не суметь осознать его примерно никогда. привет всем, кто пытался представить 4-мерый куб.
3. несмотря на семантическую природу пространства и привязку к языку, все операции над текстов сводятся к математическим операциям над векторами. их можно складывать и это равносильно сложению смысла слов в предложениях, или умножать — их скалярное произведение описывает, насколько два текста на любом из человеческих языков близки по смыслу между собой. причем для таких расчетов машине больше не нужно ничего "понимать", нужно (заткнуться) и считать.
Например, так выглядит слово “кот” в гугловском пространстве, определенном функцией BERT (фото 1).
Каждая координата этого вектора - число с плавающей точкой (float), которое уже записывается в память компьютера и занимает там 4 байта.
- Каждый такой вектор занимает 4 байта х размерность 768 = 3 кБ
- При этом слово занимает 2 байта на символ UTF-8 х 3 буквы в слове “кот” = 6 Б
Разница в 500 раз. Векторная запись одного слова занимаете памяти как целая страница текста. Дело в том, что помимо самого слова в нем хранится информация о понятии “кот” — сколько у него лап, какие он издает звуки и все, что нашлось в обучающей выборке, точнее какие слова встречались рядом со словом "кот" в текстах обучающей выборки .
Чудо в том, что после всех операций и обратной конвертации этих векторов на человеческий, получаются тексты связные не только на уровне последовательностей слов, но и на уровне причинно-следственных связей, о которых машина не имеет никакого представления. И чудо это заключено в конкретном способе трансформации текста в векторы, в количестве измерений и различных способах оптимизации. И уже существующие способы, хотя и хороши, все еще может быть улучшены значительно (до 40%). И это одна из точек активного приложения усилий ИИ-исследователей прямо сейчас.
1. Демо - уровень абстракции #1 - скрины отсюда ниже
2. Как работает Google BERT
3. Документация openAI
#AI #language
👍10🤯7🔥6❤3
демо по первой ссылке кликабельное, если открыть его с компьютера, можно поиграться с векторами для любого вашего текста — введите его в поле на самом верху. как работает визуализация 1000-мерных пространств расскажу в следующий раз.
а если ваши примеры окажутся более наглядными и креативными, скидывайте их в комментарии, но знайте - я старался 🙃
а если ваши примеры окажутся более наглядными и креативными, скидывайте их в комментарии, но знайте - я старался 🙃
👀6🔥3
Глубокое обучение, как зеркало сложных систем
«Никто не понимает, как работает глубокое обучение / нейронные сети / большие языковые модели» — слышали эту фразу? не смущает ли она вас? В нескольких постах разбираемся, что известно, а что нет.
В жизни нас окружает много сложных систем, поведение которых в будущем не может быть точно смоделировано (computationally irreducible complexity) — наш мозг, иммунная система, финансовые рынки, климатические и экологические системы, социальные группы и многое другое. Иногда не хватает информации о начальных условиях, иногда для моделирования требуются невероятные вычислительные мощности, а иногда это даже теоретически невозможно (хаос, привет).
В отсутствии понимания внутренних правил системы, бывают накоплены наблюдения за ней — например, анамнез людей с травмами разных частей головы, показания погоды за несколько лет, журналы родильных домов по всему региону или сборник медицинских учебников. Вместе с наблюдениями иногда сформирована интуиция — пациенты с повреждениями левой фронтальной части мозга чаще других теряют способность говорить, вокруг Рождества особенно морозно, больше всего детей рождается летом, а подорожник быстрее заживляет раны. Корреляции не всегда верные, но достаточно устойчивые чтобы закрепиться как «житейская мудрость».
Большие нейронные сети (neural networks, NN) — сложные системы, состоящие из десятков миллиардов нейронов и выполняющие сотни миллионов операций с числами в секунду. В момент создания это полностью детерминированные объекты, магия начинается только после их “обучения”, во время которого сети показывают примеры другой сложной системы, например, текста. Если данных много (а chatGPT обучен на корпусе из ~ста миллиардов страниц текста), они высокого качества (литературы и научных статей больше, чем твиттера), и достаточно разнообразны (представлены разные языки, национальности, гендеры, политические взгляды), глядя на них нейронная сеть «обучится» хорошо и скопирует внутренние взаимосвязи построив свою собственную интуицию.
После обучения вся информация или “знания” NN распределённо хранятся в этих миллиардах нейронов, и хотя система не перестает быть строго детерминированной (каждое из чисел известно точно), из-за огромного количества их интерпретация сильно усложняется и становится похожа на исследование нашего мозга. Он тоже состоит из десятков миллиардов нейронов, правда иной природы. За всю историю развития нейронауки ученые объединили скопления нейронов в отделы, установили за какие функции они отвечают, но где именно рождается та или иная мысль в большинстве случаев неизвестно, а что такое сознание неизвестно вовсе.
В случае с текстом обучение, очевидно, работает. Современные большие языковые модели успешно построили собственные интуиции для человеческих языков. Является ли это “пониманием” написанного, и можно ли на таких механизмах построить “сознание”, это отдельный разговор, который в основном сводится к определению терминов. Но совершенно точно это является пониманием математической закономерности языка, скрытой от нашей человеческой интуиции. Наш мозг выполняет операции над образами а не числами, но удивительным образом эти два подхода приводят к очень близким результатам.
Вот и получается что одно сложное, которое вы контролируете полностью, имитирует поведение другого сложного, за которым наблюдало достаточно много раз. И несмотря на очень поверхностные наше представления о том, как именно это происходит, это сложное решает прикладные задачи и усложняется дальше. С другой стороны, человек довольно долго и успешно существовал совсем не понимая, как работает собственный мозг. Это должно обнадеживать
1. Визуальная демонстрация того как нейронные сети учатся
2. Что известно об устройстве GPT-4
#AI #DL #LLM #complexity
«Никто не понимает, как работает глубокое обучение / нейронные сети / большие языковые модели» — слышали эту фразу? не смущает ли она вас? В нескольких постах разбираемся, что известно, а что нет.
В жизни нас окружает много сложных систем, поведение которых в будущем не может быть точно смоделировано (computationally irreducible complexity) — наш мозг, иммунная система, финансовые рынки, климатические и экологические системы, социальные группы и многое другое. Иногда не хватает информации о начальных условиях, иногда для моделирования требуются невероятные вычислительные мощности, а иногда это даже теоретически невозможно (хаос, привет).
В отсутствии понимания внутренних правил системы, бывают накоплены наблюдения за ней — например, анамнез людей с травмами разных частей головы, показания погоды за несколько лет, журналы родильных домов по всему региону или сборник медицинских учебников. Вместе с наблюдениями иногда сформирована интуиция — пациенты с повреждениями левой фронтальной части мозга чаще других теряют способность говорить, вокруг Рождества особенно морозно, больше всего детей рождается летом, а подорожник быстрее заживляет раны. Корреляции не всегда верные, но достаточно устойчивые чтобы закрепиться как «житейская мудрость».
Большие нейронные сети (neural networks, NN) — сложные системы, состоящие из десятков миллиардов нейронов и выполняющие сотни миллионов операций с числами в секунду. В момент создания это полностью детерминированные объекты, магия начинается только после их “обучения”, во время которого сети показывают примеры другой сложной системы, например, текста. Если данных много (а chatGPT обучен на корпусе из ~ста миллиардов страниц текста), они высокого качества (литературы и научных статей больше, чем твиттера), и достаточно разнообразны (представлены разные языки, национальности, гендеры, политические взгляды), глядя на них нейронная сеть «обучится» хорошо и скопирует внутренние взаимосвязи построив свою собственную интуицию.
После обучения вся информация или “знания” NN распределённо хранятся в этих миллиардах нейронов, и хотя система не перестает быть строго детерминированной (каждое из чисел известно точно), из-за огромного количества их интерпретация сильно усложняется и становится похожа на исследование нашего мозга. Он тоже состоит из десятков миллиардов нейронов, правда иной природы. За всю историю развития нейронауки ученые объединили скопления нейронов в отделы, установили за какие функции они отвечают, но где именно рождается та или иная мысль в большинстве случаев неизвестно, а что такое сознание неизвестно вовсе.
В случае с текстом обучение, очевидно, работает. Современные большие языковые модели успешно построили собственные интуиции для человеческих языков. Является ли это “пониманием” написанного, и можно ли на таких механизмах построить “сознание”, это отдельный разговор, который в основном сводится к определению терминов. Но совершенно точно это является пониманием математической закономерности языка, скрытой от нашей человеческой интуиции. Наш мозг выполняет операции над образами а не числами, но удивительным образом эти два подхода приводят к очень близким результатам.
Вот и получается что одно сложное, которое вы контролируете полностью, имитирует поведение другого сложного, за которым наблюдало достаточно много раз. И несмотря на очень поверхностные наше представления о том, как именно это происходит, это сложное решает прикладные задачи и усложняется дальше. С другой стороны, человек довольно долго и успешно существовал совсем не понимая, как работает собственный мозг. Это должно обнадеживать
1. Визуальная демонстрация того как нейронные сети учатся
2. Что известно об устройстве GPT-4
#AI #DL #LLM #complexity
❤6🤯3🔥2
Откуда я это почувствовал? Запахи
К счастью, мир вокруг искусственным интеллектом не исчерпывается, и чтобы шире очертить диапазон тем этого канала, сегодня я начинаю рубрику “откуда я это почувствовал”, посвященную органам чувств.
Во-первых, человеческие опыты даны нам в чувствах, на чистом рацио далеко не уедешь. Во-вторых, я 5 лет создавал и исследовал устройства для анализа запахов часто оглядываясь на то, как эта задача была решена эволюцией. Так сформировалась оптика, в которой и органы чувств я начал рассматривать как сенсоры, проводящие измерения среды и передающие информацию на центральный компьютер в черепной коробке. Каждый из этих сенсоров наполнен изящными инженерными решениями и забавными несовершенствами. В третьих, оптика искусственного интеллекта сводит сенсорное восприятие мира к задачке из теории информации — сколько мегабайтов зрительного потока нужно обрабатывать в секунду чтобы ориентироваться в трехмерном пространстве? А с какой частотой воспринимать колебания воздуха, чтобы разобрать в нем человеческую речь? При переносе этой оптики обратно на человека возникает много интересных параллелей. Так как же и зачем мы вообще чувствуем запахи?
Обоняние, как и вкус — это химические рецепторы, то есть с их помощью мы воспринимаем химическую информацию о мире – условно говоря, из каких молекул он состоит. Это сильно отличается от зрения, слуха, осязания и равновесия, измеряющих физические величины. Это же по большому счету затрудняет сведение восприятие запаха к объективным величинам и затрудняет восприятие для машин, задумайтесь — обоняние, это единственное из чувств, в которых животные все еще не превзойдены никакими устройствами — собаки в аэропортах тому подтверждение.
Эволюционно обоняние — наиболее древнее из чувств живых существ на Земле. Для ранних одноклеточных его сложно отличить от вкуса, но так или иначе, химическая информация была важнее физической. Пробуя “первичноый бульон” химическими рецепторами, можно было понять, где больше еды, а где больше опасностей. Ну и на этом основании грести своими жгутиками в ту или иную сторону. С тех пор как жизнь выбралась на сушу, тот же метод стал применяться и к воздуху, что привело к развитию отдельных систем обоняния и вкуса. С тех пор первые анализируют соединения растворенные в воздухе, вторые — в слюне.
Обоняние используется разными животными для поиска еды, оценки ее съедобности, обнаружения хищников, взаимодействия с партнерами, коммуникации с сородичими и даже для ориентации в пространстве. Наиболее развито обоняние у млекопитающих — собаки, слоны и кроты обладают наиболее высокой чувствительностью, а их географическая ориентация почти полностью построена на запахах. При этом человека и почти всех приматов это не касается — описанные выше функции у них стало выполнять зрение, а с развитием речи и слух, со временем важность обоняния падала и обонятельные рецепторы вместе с соответствующими отделами мозга деградировали. Приматы, киты и дельфины даже выделены в отдельную группу микросматов (недонюхов), когда все остальные млекопитающие — макросматы. Вместе с тем древние функции могли редуцироваться до инстинктов и уйти в поле бессознательного, так, например, есть научные работы утверждающие, что люди все-таки ориентируются на запах при выборе партнеров.
С вами было вечно затянутое введение, в следующих сериях шаг за шагом разберемся в том, как химическая информация из воздуха попадает к нам в сознание. А вы расскажите, что еще интересно про обоняние? Постараюсь ответить в комментариях или следующих постах.
#senses #air @levels_of_abstraction
К счастью, мир вокруг искусственным интеллектом не исчерпывается, и чтобы шире очертить диапазон тем этого канала, сегодня я начинаю рубрику “откуда я это почувствовал”, посвященную органам чувств.
Во-первых, человеческие опыты даны нам в чувствах, на чистом рацио далеко не уедешь. Во-вторых, я 5 лет создавал и исследовал устройства для анализа запахов часто оглядываясь на то, как эта задача была решена эволюцией. Так сформировалась оптика, в которой и органы чувств я начал рассматривать как сенсоры, проводящие измерения среды и передающие информацию на центральный компьютер в черепной коробке. Каждый из этих сенсоров наполнен изящными инженерными решениями и забавными несовершенствами. В третьих, оптика искусственного интеллекта сводит сенсорное восприятие мира к задачке из теории информации — сколько мегабайтов зрительного потока нужно обрабатывать в секунду чтобы ориентироваться в трехмерном пространстве? А с какой частотой воспринимать колебания воздуха, чтобы разобрать в нем человеческую речь? При переносе этой оптики обратно на человека возникает много интересных параллелей. Так как же и зачем мы вообще чувствуем запахи?
Обоняние, как и вкус — это химические рецепторы, то есть с их помощью мы воспринимаем химическую информацию о мире – условно говоря, из каких молекул он состоит. Это сильно отличается от зрения, слуха, осязания и равновесия, измеряющих физические величины. Это же по большому счету затрудняет сведение восприятие запаха к объективным величинам и затрудняет восприятие для машин, задумайтесь — обоняние, это единственное из чувств, в которых животные все еще не превзойдены никакими устройствами — собаки в аэропортах тому подтверждение.
Эволюционно обоняние — наиболее древнее из чувств живых существ на Земле. Для ранних одноклеточных его сложно отличить от вкуса, но так или иначе, химическая информация была важнее физической. Пробуя “первичноый бульон” химическими рецепторами, можно было понять, где больше еды, а где больше опасностей. Ну и на этом основании грести своими жгутиками в ту или иную сторону. С тех пор как жизнь выбралась на сушу, тот же метод стал применяться и к воздуху, что привело к развитию отдельных систем обоняния и вкуса. С тех пор первые анализируют соединения растворенные в воздухе, вторые — в слюне.
Обоняние используется разными животными для поиска еды, оценки ее съедобности, обнаружения хищников, взаимодействия с партнерами, коммуникации с сородичими и даже для ориентации в пространстве. Наиболее развито обоняние у млекопитающих — собаки, слоны и кроты обладают наиболее высокой чувствительностью, а их географическая ориентация почти полностью построена на запахах. При этом человека и почти всех приматов это не касается — описанные выше функции у них стало выполнять зрение, а с развитием речи и слух, со временем важность обоняния падала и обонятельные рецепторы вместе с соответствующими отделами мозга деградировали. Приматы, киты и дельфины даже выделены в отдельную группу микросматов (недонюхов), когда все остальные млекопитающие — макросматы. Вместе с тем древние функции могли редуцироваться до инстинктов и уйти в поле бессознательного, так, например, есть научные работы утверждающие, что люди все-таки ориентируются на запах при выборе партнеров.
С вами было вечно затянутое введение, в следующих сериях шаг за шагом разберемся в том, как химическая информация из воздуха попадает к нам в сознание. А вы расскажите, что еще интересно про обоняние? Постараюсь ответить в комментариях или следующих постах.
#senses #air @levels_of_abstraction
🔥15❤1
Откуда я это почувствовал? Запахи, часть 2
Продолжение поста с описанием функций обоняния, переходим к технике. Вы вошли в комнату, где кто-то варит кофе.
1️⃣ Для того чтобы попасть к нам в нос любое вещество сначала должно быть растворено в воздухе. Это ограничивает пахучие соединений по массе – тяжелые не летают. При этом летучесть зависит от температуры, поэтому горячая еда и напитки ароматнее, а некоторые духи звучат только на коже. Так, с поверхности чашки кофе испаряются десятки разных соединений –кетонов, кислот, альдегидов и соединений серы.
В каждом нашем вдохе 3-4 литра воздуха. Азот, кислород и CO2 запаха не имеют, а вот соединения из чашки кофе создают заметные ароматы даже в концентрации ~0.001%. Они попадают в носоглотку, растворяются в тонкой пленке воды на слизистой обонятельного эпителия — чувствительной области, покрытой рецепторами. Эпителий находится довольно глубоко в носовой полости, чуть ниже глазных яблок, то есть сам нос в обонянии участвует только как входное отверстие.
2️⃣ Эпителий покрыт обонятельными или олфакторными рецепторами — это сложные белки, которые и определяют наш обонятельный диапазон. Они как антенны одним концом ловят молекулы, а другим закреплены на нервной клетке.
У нас, недонюхов, в носу около 1-6 миллионов обонятельных клеток, у собак их больше 200 млн. И если все нервные клетки, связанные с восприятием цвета, можно разделить на 3 типа (красные, синие, и зеленые), разных рецепторов вкуса у нас 5 (сладкий-кислый-соленый-горький-умами), а звук и вовсе условно двумерный (интенсивность и частота колебания барабанной перепонки), то разных типов обонятельных рецепторов около 400. Это одна из причин, почему обоняние до сих пор не оцифровано приборами – если в каждом пикселе экрана нужно 3 диода (RGB), то каждый электронный нос должен состоять из 200-400 сенсоров, а это просто технически сложно.
То есть пространство обонятельных образов 400-мерно, что конечно все еще меньше 1000+ измерений в языковых моделях, но интуитивно кажется что в тексте можно закодировать намного больше информации, чем в запахах. При этом ученые до сих пор не могут понять, сколько разных молекул способен почувствовать человеческий нос, оценки рознятся от 10 000 до бесконечности. А уж комбинаций из этих молекул, то есть разных ароматов, с которыми мы можем столкнуться в жизни на порядки больше, как минимум триллион 🤯
Другая проблема в том, что каждый из этих рецепторов связывается не с одним соединением, а с целым спектром и реагирует на него со своей интенсивностью, что делает обоняние намного сложнее даже вкуса, где рецепторы более изолировано отвечают за отдельные характеристики. То есть у нас нет отдельных рецепторов на запах кофе и даже на все пряные или фруктовые запахи, эти концепции появляются позже в мозге, но не при контакте со стимулом.
Спектр чувствительности всех обонятельных рецепторов определяет то, что мы вообще можем почувствовать. При этом до сих пор не до конца понятно, почему одни молекулы — имеют запах, а другие нет. Сначала считалось, что дело в размере молекулы, потом - в форме, дальше в наличии определенных химических групп. Сейчас кажется, что важно всё, но стройной модели обоняния все еще нет. То есть если нарисовать на бумаге новое соединение предсказать его запах теоретически почти невозможно, хотя исследования в этом направлении ведутся.
3️⃣ При соединении с подходящей олфакторной молекулой из чашки кофе каждый рецептор активируется и запускает механизм формирования электрического импульса. Начиная с этого момента химическая информация условно "оцифрована" и дальше передается в виде электрических сигналов через транспортные нейроны как по проводам, пока не попадает в мозг.
Пост уже достаточно длинный, так что психофизику обоняния оставлю на следующий раз. Все описанное выше происходит параллельно во всех миллионах рецепторов 400 разных видов примерно за 0.1-0.5 секунд после того, как мы зашли в комнату с кофе, так что не только тут, но и в каждом акте обоняние мы обрабатываем внушительные объемы информации.
#senses #air
Продолжение поста с описанием функций обоняния, переходим к технике. Вы вошли в комнату, где кто-то варит кофе.
1️⃣ Для того чтобы попасть к нам в нос любое вещество сначала должно быть растворено в воздухе. Это ограничивает пахучие соединений по массе – тяжелые не летают. При этом летучесть зависит от температуры, поэтому горячая еда и напитки ароматнее, а некоторые духи звучат только на коже. Так, с поверхности чашки кофе испаряются десятки разных соединений –кетонов, кислот, альдегидов и соединений серы.
В каждом нашем вдохе 3-4 литра воздуха. Азот, кислород и CO2 запаха не имеют, а вот соединения из чашки кофе создают заметные ароматы даже в концентрации ~0.001%. Они попадают в носоглотку, растворяются в тонкой пленке воды на слизистой обонятельного эпителия — чувствительной области, покрытой рецепторами. Эпителий находится довольно глубоко в носовой полости, чуть ниже глазных яблок, то есть сам нос в обонянии участвует только как входное отверстие.
2️⃣ Эпителий покрыт обонятельными или олфакторными рецепторами — это сложные белки, которые и определяют наш обонятельный диапазон. Они как антенны одним концом ловят молекулы, а другим закреплены на нервной клетке.
У нас, недонюхов, в носу около 1-6 миллионов обонятельных клеток, у собак их больше 200 млн. И если все нервные клетки, связанные с восприятием цвета, можно разделить на 3 типа (красные, синие, и зеленые), разных рецепторов вкуса у нас 5 (сладкий-кислый-соленый-горький-умами), а звук и вовсе условно двумерный (интенсивность и частота колебания барабанной перепонки), то разных типов обонятельных рецепторов около 400. Это одна из причин, почему обоняние до сих пор не оцифровано приборами – если в каждом пикселе экрана нужно 3 диода (RGB), то каждый электронный нос должен состоять из 200-400 сенсоров, а это просто технически сложно.
То есть пространство обонятельных образов 400-мерно, что конечно все еще меньше 1000+ измерений в языковых моделях, но интуитивно кажется что в тексте можно закодировать намного больше информации, чем в запахах. При этом ученые до сих пор не могут понять, сколько разных молекул способен почувствовать человеческий нос, оценки рознятся от 10 000 до бесконечности. А уж комбинаций из этих молекул, то есть разных ароматов, с которыми мы можем столкнуться в жизни на порядки больше, как минимум триллион 🤯
Другая проблема в том, что каждый из этих рецепторов связывается не с одним соединением, а с целым спектром и реагирует на него со своей интенсивностью, что делает обоняние намного сложнее даже вкуса, где рецепторы более изолировано отвечают за отдельные характеристики. То есть у нас нет отдельных рецепторов на запах кофе и даже на все пряные или фруктовые запахи, эти концепции появляются позже в мозге, но не при контакте со стимулом.
Спектр чувствительности всех обонятельных рецепторов определяет то, что мы вообще можем почувствовать. При этом до сих пор не до конца понятно, почему одни молекулы — имеют запах, а другие нет. Сначала считалось, что дело в размере молекулы, потом - в форме, дальше в наличии определенных химических групп. Сейчас кажется, что важно всё, но стройной модели обоняния все еще нет. То есть если нарисовать на бумаге новое соединение предсказать его запах теоретически почти невозможно, хотя исследования в этом направлении ведутся.
3️⃣ При соединении с подходящей олфакторной молекулой из чашки кофе каждый рецептор активируется и запускает механизм формирования электрического импульса. Начиная с этого момента химическая информация условно "оцифрована" и дальше передается в виде электрических сигналов через транспортные нейроны как по проводам, пока не попадает в мозг.
Пост уже достаточно длинный, так что психофизику обоняния оставлю на следующий раз. Все описанное выше происходит параллельно во всех миллионах рецепторов 400 разных видов примерно за 0.1-0.5 секунд после того, как мы зашли в комнату с кофе, так что не только тут, но и в каждом акте обоняние мы обрабатываем внушительные объемы информации.
#senses #air
🔥12👍5👀3❤1🤯1
👋 всем привет! давно не виделись, как вы тут?
регулярность письма для меня пока самый большой челлендж в ведении блога. хотя в последнее время было особенно много причин отвлечься:
— еще одна эмиграция, теперь в Барселону. забавно отмечать, что после всех скитаний, это уже не вызывает должного стресса. но возможно это пока
— много работы над нашим стартапом Quist, где мы строим ИИ для поиска информации в научной литературе, патентах и прочих уголках человеческого знания. прямо сейчас делаем много пилотных проектов с научными компаниями, лабораториями и даже инвестиционными фирмами. заработали первые деньги и попали в классный акселератор eWorks в Барселоне, что дало буст к международному нетворкингу и в целом помогает двигаться вперед
— попутно начал писать код не только для себя, но и для других компаний, которые хотят продукты на LLM, вписался несколько больших проектов диапазона. диапазон применений от торговых роботов для тендерных аукционов до чат-ботов карьерных консультантов. так что если вам вдруг показалось, что пора делать ИИ-приложение, пишите, отговорю :)
— в целом ощущаю близкой к завершению трансформацию из прикладного ученого в прости-господи ИИ-стартапера. чувствую себя в правильное время в правильной области, и надеюсь, что скоро смогу больше об этом рассказывать
а поможет мне в этом лучше всего ваша обратная связь. я скоро вернусь с тематическими постами (черновиков накопилось много), а вы, пожалуйста, не стесняйтесь писать в комментариях, о чем интересно было бы почитать именно вам, задавайте вопросы (как любил повторять мой преподаватель в МГУ — глупых вопросов не бывает), скидывайте мемы, пересылайте посты друзьям и вообще чувствуйте себя как дома.
до скорой!
#startup
регулярность письма для меня пока самый большой челлендж в ведении блога. хотя в последнее время было особенно много причин отвлечься:
— еще одна эмиграция, теперь в Барселону. забавно отмечать, что после всех скитаний, это уже не вызывает должного стресса. но возможно это пока
— много работы над нашим стартапом Quist, где мы строим ИИ для поиска информации в научной литературе, патентах и прочих уголках человеческого знания. прямо сейчас делаем много пилотных проектов с научными компаниями, лабораториями и даже инвестиционными фирмами. заработали первые деньги и попали в классный акселератор eWorks в Барселоне, что дало буст к международному нетворкингу и в целом помогает двигаться вперед
— попутно начал писать код не только для себя, но и для других компаний, которые хотят продукты на LLM, вписался несколько больших проектов диапазона. диапазон применений от торговых роботов для тендерных аукционов до чат-ботов карьерных консультантов. так что если вам вдруг показалось, что пора делать ИИ-приложение, пишите, отговорю :)
— в целом ощущаю близкой к завершению трансформацию из прикладного ученого в прости-господи ИИ-стартапера. чувствую себя в правильное время в правильной области, и надеюсь, что скоро смогу больше об этом рассказывать
а поможет мне в этом лучше всего ваша обратная связь. я скоро вернусь с тематическими постами (черновиков накопилось много), а вы, пожалуйста, не стесняйтесь писать в комментариях, о чем интересно было бы почитать именно вам, задавайте вопросы (как любил повторять мой преподаватель в МГУ — глупых вопросов не бывает), скидывайте мемы, пересылайте посты друзьям и вообще чувствуйте себя как дома.
до скорой!
#startup
Quist AI
Quist AI | Readymag
Quist, your AI-powered employee for data-driven success
❤12🔥7👍2
почему ИИ-революция случилась именно сейчас?
уже несколько лет подряд ИИ делает то, что раньше считалось невозможным, компании инвестируют миллиарды в обучение все больших нейросетей, а люди вокруг повсеместно становятся “экспертами” (и я сам часть этой проблемы 🙃). но после того как мир увидел chatGPT, порой кажется, что сознательные роботы / сингулярность / AGI / восстание машин (нужное подчеркнуть) уже на пороге. а это действительно нечто совсем иное, чего в раньше не происходило никогда. и даже тест Тьюринга, концептуально разделяющий людей и роботов весь ХХ век, дал трещину — роботы все лучше притворяются людьми, а людям все сложнее доказать, что они не роботы, решая усложняющиеся капчи.
но что случилось такого, чего не происходило раньше? и действительно ли это технологическая "революция", которую энтузиасты сравнивают с изобретениям электричества, или обыкновенное линейное развитие прогресса, которое мы видели и раньше?
1️⃣ Данные. C момента изобретения письменности мы накопили очень много знаний о мире, а затем аккуратно и положили их все в интернет. Одна википедия — вершина человеческой техногенной цивилизации, обеспечившая доступом к информации каждого, у кого есть хотя бы старенький смартфон (дайте ей денег за это). И хотя мы сами временами используем это сокровище не самыми рациональным способом (слишком много мемов), обучение нейросетей упростилось радикально — бесплатные данные доступны в огромных количествах.
для масштаба: самая большая открытая языковая модель LLAMA-3 во время обучения видела ~75 терабайт текста, которые помимо википедии включают в себя весь открытый интернет, мировую литературу, реддит, твиттер, ArXiv c научными статьями, Github репозитории, и все это на 30 языках.
2️⃣ Вычислительные мощности. Их измеряют количеством вычислений в секунду и всю историю человечества эта скорость растет. закон Мура говорит о том, что количество транзисторов на процессоре увеличивается вдвое каждые ~два года, а Рэй Курцвейл заметил, что это справедливо не только для процессоров, но и для вычислительных мощностей всего человечества в целом, которые увеличиваются с экспоненциальной скоростью последние 100 лет, начиная с электромеханических арифмометров и заканчивая GPU гигантскими кластерами (картинка)
3️⃣ Вычислительные архитектуры (нейросети, глубокое обучение, трансформеры, RL). Соединение вычислительных мощностей с данными не создавало чуда, пока ученые не изобрели способ переноса знаний из текстов в код, подобный обучению детей. Для этого потребовалась очень длинная цепочка изобретений начиная от первых нейронных сетей еще в 1958 (без достаточно мощных компьютеров, они долго пролежали без дела), до обратного распространения ошибки (backpropagation), обучения с подкреплением (reinforcement learning) и появления архитектуры нейросетей "трансформер", которая стала стандартом для больших языковых моделей и до сих пор повсеместно используется в большинстве LLM, которые мы используем. и именно Трансформеры ответственны за T в аббревиатуре GPT (хотя ее изобретатели "просто" пытались улучшить google translate, но это отдельная история). а про обучение нейросетей у меня был отдельный пост.
4️⃣ Деньги. Все элементы выше какое-то время сосуществовали вместе, пока в ~2020 году небольшой, но амбициозный стартап openAI не вложил ~100 млн $ в рискованное мероприятие — обучение самой большой на тот момент языковой модели GPT-3 на 175 млрд параметров. гипотеза о связи размера сети и длительности обучения с конечной "интеллектуальностью" модели, еще не была подтверждена экспериментально, а поскольку проверка стоила колоссальных ресурсов, никто не спешил делать это первым.
рискованная ставка openAI выстрелила и надолго сделала их лидерами области. а подтверждение закона масштаба запустило гонку бюджетов. то что нам сейчас кажется примитивной технологией древних людей (помните GPT-3?), показало всему биг-теху, что сжигать деньги на GPU — самое благородное дело 2020-х, и конца тому не видно
🟦 Итого: ИИ революция = большие данные Х вычислительные мощности Х глубокое обучение X огромные деньги
#AI #history
уже несколько лет подряд ИИ делает то, что раньше считалось невозможным, компании инвестируют миллиарды в обучение все больших нейросетей, а люди вокруг повсеместно становятся “экспертами” (и я сам часть этой проблемы 🙃). но после того как мир увидел chatGPT, порой кажется, что сознательные роботы / сингулярность / AGI / восстание машин (нужное подчеркнуть) уже на пороге. а это действительно нечто совсем иное, чего в раньше не происходило никогда. и даже тест Тьюринга, концептуально разделяющий людей и роботов весь ХХ век, дал трещину — роботы все лучше притворяются людьми, а людям все сложнее доказать, что они не роботы, решая усложняющиеся капчи.
но что случилось такого, чего не происходило раньше? и действительно ли это технологическая "революция", которую энтузиасты сравнивают с изобретениям электричества, или обыкновенное линейное развитие прогресса, которое мы видели и раньше?
1️⃣ Данные. C момента изобретения письменности мы накопили очень много знаний о мире, а затем аккуратно и положили их все в интернет. Одна википедия — вершина человеческой техногенной цивилизации, обеспечившая доступом к информации каждого, у кого есть хотя бы старенький смартфон (дайте ей денег за это). И хотя мы сами временами используем это сокровище не самыми рациональным способом (слишком много мемов), обучение нейросетей упростилось радикально — бесплатные данные доступны в огромных количествах.
для масштаба: самая большая открытая языковая модель LLAMA-3 во время обучения видела ~75 терабайт текста, которые помимо википедии включают в себя весь открытый интернет, мировую литературу, реддит, твиттер, ArXiv c научными статьями, Github репозитории, и все это на 30 языках.
2️⃣ Вычислительные мощности. Их измеряют количеством вычислений в секунду и всю историю человечества эта скорость растет. закон Мура говорит о том, что количество транзисторов на процессоре увеличивается вдвое каждые ~два года, а Рэй Курцвейл заметил, что это справедливо не только для процессоров, но и для вычислительных мощностей всего человечества в целом, которые увеличиваются с экспоненциальной скоростью последние 100 лет, начиная с электромеханических арифмометров и заканчивая GPU гигантскими кластерами (картинка)
3️⃣ Вычислительные архитектуры (нейросети, глубокое обучение, трансформеры, RL). Соединение вычислительных мощностей с данными не создавало чуда, пока ученые не изобрели способ переноса знаний из текстов в код, подобный обучению детей. Для этого потребовалась очень длинная цепочка изобретений начиная от первых нейронных сетей еще в 1958 (без достаточно мощных компьютеров, они долго пролежали без дела), до обратного распространения ошибки (backpropagation), обучения с подкреплением (reinforcement learning) и появления архитектуры нейросетей "трансформер", которая стала стандартом для больших языковых моделей и до сих пор повсеместно используется в большинстве LLM, которые мы используем. и именно Трансформеры ответственны за T в аббревиатуре GPT (хотя ее изобретатели "просто" пытались улучшить google translate, но это отдельная история). а про обучение нейросетей у меня был отдельный пост.
4️⃣ Деньги. Все элементы выше какое-то время сосуществовали вместе, пока в ~2020 году небольшой, но амбициозный стартап openAI не вложил ~100 млн $ в рискованное мероприятие — обучение самой большой на тот момент языковой модели GPT-3 на 175 млрд параметров. гипотеза о связи размера сети и длительности обучения с конечной "интеллектуальностью" модели, еще не была подтверждена экспериментально, а поскольку проверка стоила колоссальных ресурсов, никто не спешил делать это первым.
рискованная ставка openAI выстрелила и надолго сделала их лидерами области. а подтверждение закона масштаба запустило гонку бюджетов. то что нам сейчас кажется примитивной технологией древних людей (помните GPT-3?), показало всему биг-теху, что сжигать деньги на GPU — самое благородное дело 2020-х, и конца тому не видно
🟦 Итого: ИИ революция = большие данные Х вычислительные мощности Х глубокое обучение X огромные деньги
#AI #history
👍6❤4🤯1
Критический взгляд на инвестиции в ИИ
ложка дёгтя к тезису о гонке инвестиций в ИИ иp последнего поста. Вчера послушал подкаст Goldman Sachs с известным экономистом из MIT Daron Acemoglu — A sceptical look on AI investments. Обсуждался объем инвестиций в ИИ (есть оценки в космический $1 триллион на ближайшие несколько лет) и ожидаемые возвраты в виде прироста к продуктивности работников и увеличения ВВП США.
TLDR: Daren не видит даже теоретической возможности, что они когда-нибудь окупятся, и утверждает, что это противоречит как имеющимся на сегодня данным, так и экономической теории в целом.
📈Оптимистичный сценарий (статья, кстати тоже от Goldman Sachs): будут 25% автоматизированы рабочих задач, прирост продуктивности работников в США - 9%, рост ВВП — 7% в течение 10 лет.
📉Сценарий Даррена (статья): автоматизация затронет меньше 5% рабочих задач, прирост продуктивности будет ~0.5% и меньше 1% роста ВВП.
Ведущая задала смешной вопрос:
- может ли биг-тех в текущей ситуации действовать иначе, учтывая шанс, что инвестиции не окупятся никогда?
- не могут, потому что даже с минимальным шансом, что это когда-либо произойдет, они не могут позволить себе допустить, что технология первой окажется у конкурентов. в общем все побежали, и я побежал, молох в действии.
А еще сегодня вышла статья с оценкой расходов openAI — траты на зарплаты ~1500 разработчиков — $1.5 млрд в год (да, это в среднем🙈по миллиону на человека) и еще $3.5 млрд на GPU. То есть 5 млрд убытков при $3.5 млрд выручки
⚰️ Эти сумасшедшие расходы подпитываются уверенностью в том, что через 2-5-10 лет наступит AGI, который автоматизирует нас всех и заработает все деньги мира сам. Но что если нет? В таком случае пузырь лопнет очень громко. И в каком лагере вы лично - скептиков или энтузиастов?
#AI #economy
ложка дёгтя к тезису о гонке инвестиций в ИИ иp последнего поста. Вчера послушал подкаст Goldman Sachs с известным экономистом из MIT Daron Acemoglu — A sceptical look on AI investments. Обсуждался объем инвестиций в ИИ (есть оценки в космический $1 триллион на ближайшие несколько лет) и ожидаемые возвраты в виде прироста к продуктивности работников и увеличения ВВП США.
TLDR: Daren не видит даже теоретической возможности, что они когда-нибудь окупятся, и утверждает, что это противоречит как имеющимся на сегодня данным, так и экономической теории в целом.
📈Оптимистичный сценарий (статья, кстати тоже от Goldman Sachs): будут 25% автоматизированы рабочих задач, прирост продуктивности работников в США - 9%, рост ВВП — 7% в течение 10 лет.
📉Сценарий Даррена (статья): автоматизация затронет меньше 5% рабочих задач, прирост продуктивности будет ~0.5% и меньше 1% роста ВВП.
Ведущая задала смешной вопрос:
- может ли биг-тех в текущей ситуации действовать иначе, учтывая шанс, что инвестиции не окупятся никогда?
- не могут, потому что даже с минимальным шансом, что это когда-либо произойдет, они не могут позволить себе допустить, что технология первой окажется у конкурентов. в общем все побежали, и я побежал, молох в действии.
А еще сегодня вышла статья с оценкой расходов openAI — траты на зарплаты ~1500 разработчиков — $1.5 млрд в год (да, это в среднем🙈по миллиону на человека) и еще $3.5 млрд на GPU. То есть 5 млрд убытков при $3.5 млрд выручки
⚰️ Эти сумасшедшие расходы подпитываются уверенностью в том, что через 2-5-10 лет наступит AGI, который автоматизирует нас всех и заработает все деньги мира сам. Но что если нет? В таком случае пузырь лопнет очень громко. И в каком лагере вы лично - скептиков или энтузиастов?
#AI #economy
🔥5❤4
И еще к теме последнего поста – более подробный разбор отчета Goldman Sachs про over investments in AI от Вити Осыки.
В общем мнения экспертов противоречивы, но все сходятся в том, что еще не найден killer application of AI, который поддерживал бы растущий тренд продолжительное время. И если он не будет найдет в ~ ближайший год, пузырь таки лопнет. Но в этом не будет ничего радикально нового, потому что вспомните например про метаверс.
И в целом рекомендую канал Вити @progresspunk, если следите за трендами в мире технологий. Он читает много лидеров мнений и делится выжимками из первых уст.
#AI #economy
В общем мнения экспертов противоречивы, но все сходятся в том, что еще не найден killer application of AI, который поддерживал бы растущий тренд продолжительное время. И если он не будет найдет в ~ ближайший год, пузырь таки лопнет. Но в этом не будет ничего радикально нового, потому что вспомните например про метаверс.
И в целом рекомендую канал Вити @progresspunk, если следите за трендами в мире технологий. Он читает много лидеров мнений и делится выжимками из первых уст.
#AI #economy
❤5🤨1
Forwarded from Progresspunks
Так, ну я прочитал тот недавний отчет Goldman Sachs про over investment в gen AI. Там следующие мнения:
Kash Rangan, equity аналитик который bullish говорит, что:
- В терминах % от их общей выручки бигтехи не делают ничего кардинального с точки зрения capex. В этом плане даже наоборот capex cycle выглядит более многообещающе, чем прошлые хайтечные инвестиционные бумы/циклы
- У рынка есть 12-18 месяцев на поиск killer AI feature чтобы конечные юзеры массово увидели value в gen AI. Если не найдут, вот тогда у инвесторов начнут возникать вопросы нужно ли продолжать инвестировать в проекты и инициативы с negative ROI
- В asset management industry спустя полтора года применения gen AI не нашли, разочарование
Jim Covello, semiconductor аналитик 30 лет в отрасли говорит, что:
- Хайпы в high tech из FOMO всегда были - это норма, но никогда не было чтобы (компы, инет, смартфоны) начинали сразу с запредельной цены (общий capex достигнет $1 трлн за 2022…2024)
- Не было что монополия была и у ASML, и у Nvidia
- Когда конкуренты или cloud providers сделают свои чипы - тогда цена упадет, и соотношение value for end users vs. стоимость станет более адекватным
- Но по сравнению со скажем PC инет смартфоны пока удивляет все не очевидностью конечной выгоды и применений, хотя уже пару лет весь мир играется. Это удивляет
- В tech постоянно хайпы не оправдываются, все эти блокчейны и метаверсы
- Пока все будет ехать на максиме let’s just continue building AI, ну окей. Через годик ждем сдувания AI bubble. Хотя пузыри могут сдуваться иррационально долго
Daron Acemoglu, это выдающийся институциональный экономист, родом из Турции, но уехавший в MIT, читал его еще когда в ВШЭ учился, говорит, что:
- Даже если 10-20% работы будет улучшено на десятки процентов и причем будет сделано cost efficient (пока точно запретительно дорого из расчета за создаваемую value), это даст на горизонте декады буквально 0.5% ежегодного прироста ВВП
- За 80 лет в мире исчезли 60% типов работ
- До AGI (с reasoning и агентскостью) как до Луны, вопрос десятков лет
- В науке будет augmentation ученых - AI будет помогать искать ответы, а не ставить вопросы
Kash Rangan, equity аналитик который bullish говорит, что:
- В терминах % от их общей выручки бигтехи не делают ничего кардинального с точки зрения capex. В этом плане даже наоборот capex cycle выглядит более многообещающе, чем прошлые хайтечные инвестиционные бумы/циклы
- У рынка есть 12-18 месяцев на поиск killer AI feature чтобы конечные юзеры массово увидели value в gen AI. Если не найдут, вот тогда у инвесторов начнут возникать вопросы нужно ли продолжать инвестировать в проекты и инициативы с negative ROI
- В asset management industry спустя полтора года применения gen AI не нашли, разочарование
Jim Covello, semiconductor аналитик 30 лет в отрасли говорит, что:
- Хайпы в high tech из FOMO всегда были - это норма, но никогда не было чтобы (компы, инет, смартфоны) начинали сразу с запредельной цены (общий capex достигнет $1 трлн за 2022…2024)
- Не было что монополия была и у ASML, и у Nvidia
- Когда конкуренты или cloud providers сделают свои чипы - тогда цена упадет, и соотношение value for end users vs. стоимость станет более адекватным
- Но по сравнению со скажем PC инет смартфоны пока удивляет все не очевидностью конечной выгоды и применений, хотя уже пару лет весь мир играется. Это удивляет
- В tech постоянно хайпы не оправдываются, все эти блокчейны и метаверсы
- Пока все будет ехать на максиме let’s just continue building AI, ну окей. Через годик ждем сдувания AI bubble. Хотя пузыри могут сдуваться иррационально долго
Daron Acemoglu, это выдающийся институциональный экономист, родом из Турции, но уехавший в MIT, читал его еще когда в ВШЭ учился, говорит, что:
- Даже если 10-20% работы будет улучшено на десятки процентов и причем будет сделано cost efficient (пока точно запретительно дорого из расчета за создаваемую value), это даст на горизонте декады буквально 0.5% ежегодного прироста ВВП
- За 80 лет в мире исчезли 60% типов работ
- До AGI (с reasoning и агентскостью) как до Луны, вопрос десятков лет
- В науке будет augmentation ученых - AI будет помогать искать ответы, а не ставить вопросы
🔥4
хорошие люди посоветовали иногда писать о более приземленных и полезных в быту вещах, например ИИ-тулах, которые я использую в жизни.
вы наверняка когда-нибудь перепечатывали текст с фотографии, из книги или откуда-нибудь еще. так вот, забудьте, сегодня десятки моделей для распознания текста (OCR, optical character recognition) встроены в самые разные приложения для того, чтобы облегчить нам жизнь
1️⃣ просто загрузите фото в chatGPT и попросите распознать текст с фотографии и вернуть его в отформатированным виде. этот способ работает даже с заметками от руки. Работает только с омнимодальными моделями GPT-4o или, например, Gemini-1.5 от Google
2️⃣ приложение google translate умеет сразу переводить текст с фотографии, чем спасает меня в испанских магазинах. но об этом и так все знают!
3️⃣ но незаслуженно мало кто знает, что в новой прошивке iPhone эта фича вшита почти в каждой строке ввода. Нужно сделать длинное нажатие в поле ввода -> AutoFill -> Scan Text. Кстати для подписи фотографий не обязательно заводить отдельную заметку, теперь можно подписывать саму фотографию.
📷 И эта же фича встроена в приложение камеры — просто наводите ее на текст и справа внизу появится значок распознавания текста, который тут же можно скопировать даже не сохраняя саму фотографию.
Можно отсканировать этикетку в магазине и спросить нет ли там аллергенов; вмиг сохранить цитату из бумажной книжки в заметки, или, например, сохранить экспликацию с выставки прямо под фотографией.
На скринах "The Gold of the Azure" из музея Хуана Миро. так понравилась, что купил себе постер с ней.
ниже скриншоты
#tools
вы наверняка когда-нибудь перепечатывали текст с фотографии, из книги или откуда-нибудь еще. так вот, забудьте, сегодня десятки моделей для распознания текста (OCR, optical character recognition) встроены в самые разные приложения для того, чтобы облегчить нам жизнь
1️⃣ просто загрузите фото в chatGPT и попросите распознать текст с фотографии и вернуть его в отформатированным виде. этот способ работает даже с заметками от руки. Работает только с омнимодальными моделями GPT-4o или, например, Gemini-1.5 от Google
2️⃣ приложение google translate умеет сразу переводить текст с фотографии, чем спасает меня в испанских магазинах. но об этом и так все знают!
3️⃣ но незаслуженно мало кто знает, что в новой прошивке iPhone эта фича вшита почти в каждой строке ввода. Нужно сделать длинное нажатие в поле ввода -> AutoFill -> Scan Text. Кстати для подписи фотографий не обязательно заводить отдельную заметку, теперь можно подписывать саму фотографию.
📷 И эта же фича встроена в приложение камеры — просто наводите ее на текст и справа внизу появится значок распознавания текста, который тут же можно скопировать даже не сохраняя саму фотографию.
Можно отсканировать этикетку в магазине и спросить нет ли там аллергенов; вмиг сохранить цитату из бумажной книжки в заметки, или, например, сохранить экспликацию с выставки прямо под фотографией.
На скринах "The Gold of the Azure" из музея Хуана Миро. так понравилась, что купил себе постер с ней.
ниже скриншоты
#tools
🤯4🔥3❤1
Откуда я это почувствовал? Обоняние, Часть 2.5
Время вернуться к моему лонгриду про обоняние, но с короткой предысторией.
Мне как-то попались результаты опроса “от какого органа чувств вы отказались бы за $10,000?” и 20% опрошенных были согласны добровольно отказаться от обоняния в обмен на деньги. В более жесткой формулировке, когда от одного из органов чувств нужно было отказаться непременно, обоняние выбирали уже 80% респондентов. На первый взгляд не самая полезная штука, информации от нее мы получаем не в пример меньше, чем от зрения, слуха и даже вкуса. И даже эволюция распорядилась так, что последние десятки тысяч лет функция обоняния у людей деградируют (а все потому что мынедонюхи микросматы). Но все же это несправедливо
По иронии судьбы я оказался в рисерче обоняния с очень слабо развитым обонянием человеческим. Большая часть запахов пролетала мимо меня, я довольно редко пользовался духами, не различал оттенков вина, не увлекался спешалти кофе и прочими носо-центричными активностями. Более того, в моей семье было принято считать что это наследственное, поскольку по мужской линии тонким нюхом похвастать не мог никто. А потом по этому сверху еще проехался ковид и полная потеря обоняния на время. Тут уже можно было повесить нос на гвоздь, но
Оказалось, что как и все остальное в жизни, обоняние можно натренировать. Походами в парфюмерные магазины, разнюхиванием цветочков и шишечек во время прогулок по природе, долгими разговорами о нотах, уровнях и шлейфах духов (спасибо моей от природы одаренной жене), готовкой еды, экспериментами со специями и прости-господи вайн-тестингом. В общем если закреплять обонятельные опыты ассоциативной памятью, придумывать запахам названия и другим образом прокачивать свой обонятельный мозг, можно будучи самым последним недонюхом вдруг уловить нотки высушенной травы в совиньон-блане или ветивер в духах, и что самое важное — получить от этого огромное удовольствие. И пускай моя жена все еще на 15 минут раньше меня замечает когда что-то начинает пригорать в далекой кухне, я радуюсь от наблюдения собственной нейропластичности.
Теперь снова к тому, как обоняние устроено. Пока напомню, что было в предыдущих сериях:
1️⃣ В первой части я писал о том, откуда обоняние взялось и зачем нужно
2️⃣ Во второй — о том как химическая информация из воздуха попадает к нам в нос и преобразуется в электрические импульсы обонятельными рецепторами
3️⃣ В третьей части — о том, как эти импульсы добегают до мозга и что с ними происходит на ранних этапах обработки
>>> вы находитесь здесь
4️⃣ И будет еще четвертая — о том как наш мозг складывает все эти импульсы в знакомые образы
#senses #air
Время вернуться к моему лонгриду про обоняние, но с короткой предысторией.
Мне как-то попались результаты опроса “от какого органа чувств вы отказались бы за $10,000?” и 20% опрошенных были согласны добровольно отказаться от обоняния в обмен на деньги. В более жесткой формулировке, когда от одного из органов чувств нужно было отказаться непременно, обоняние выбирали уже 80% респондентов. На первый взгляд не самая полезная штука, информации от нее мы получаем не в пример меньше, чем от зрения, слуха и даже вкуса. И даже эволюция распорядилась так, что последние десятки тысяч лет функция обоняния у людей деградируют (а все потому что мы
По иронии судьбы я оказался в рисерче обоняния с очень слабо развитым обонянием человеческим. Большая часть запахов пролетала мимо меня, я довольно редко пользовался духами, не различал оттенков вина, не увлекался спешалти кофе и прочими носо-центричными активностями. Более того, в моей семье было принято считать что это наследственное, поскольку по мужской линии тонким нюхом похвастать не мог никто. А потом по этому сверху еще проехался ковид и полная потеря обоняния на время. Тут уже можно было повесить нос на гвоздь, но
Оказалось, что как и все остальное в жизни, обоняние можно натренировать. Походами в парфюмерные магазины, разнюхиванием цветочков и шишечек во время прогулок по природе, долгими разговорами о нотах, уровнях и шлейфах духов (спасибо моей от природы одаренной жене), готовкой еды, экспериментами со специями и прости-господи вайн-тестингом. В общем если закреплять обонятельные опыты ассоциативной памятью, придумывать запахам названия и другим образом прокачивать свой обонятельный мозг, можно будучи самым последним недонюхом вдруг уловить нотки высушенной травы в совиньон-блане или ветивер в духах, и что самое важное — получить от этого огромное удовольствие. И пускай моя жена все еще на 15 минут раньше меня замечает когда что-то начинает пригорать в далекой кухне, я радуюсь от наблюдения собственной нейропластичности.
Теперь снова к тому, как обоняние устроено. Пока напомню, что было в предыдущих сериях:
1️⃣ В первой части я писал о том, откуда обоняние взялось и зачем нужно
2️⃣ Во второй — о том как химическая информация из воздуха попадает к нам в нос и преобразуется в электрические импульсы обонятельными рецепторами
3️⃣ В третьей части — о том, как эти импульсы добегают до мозга и что с ними происходит на ранних этапах обработки
>>> вы находитесь здесь
4️⃣ И будет еще четвертая — о том как наш мозг складывает все эти импульсы в знакомые образы
#senses #air
PubMed Central (PMC)
Your Money or Your Sense of Smell? A Comparative Analysis of the Sensory and Psychological Value of Olfaction
In public discourse, the sense of smell is typically characterized as the least important of the five senses. However, there are very little empirical data on this topic. Recently, much more attention has been brought to the sense of smell since olfactory…
🔥10❤3🥱1
Откуда я это почувствовал? Обоняние, Часть 3
Итак, летучие вещества, испарившись из чашки кофе на столе, прилетели к нам в нос и связались с миллионами обонятельных нейронов 200 разных типов, каждый из которых отвечает за чувствительность к определенной категории соединений. Рецепторы запускают сложнейший каскад сигналов по нервной системе — электрические импульсы попадают в обонятельную луковицу — специальный отдел мозга
Эволюция все устроила так, что электрический импульс может распространятся только в пределах одного нейрона, а когда добегает до его границы (синаптической щели), происходит еще одно преобразование в химическую . Электрический импульс активирует выброс капсул с нейромедиатором (в обонятельной системе это глутамат), а нейроны обонятельной луковицы в свою очередь имеют рецепторы глутамата, который обнаружив его, зажигают следующий электрический импульс уже в нейроне обонятельной луковицы. Это преобразование электрических сигналов в выбросы нейромедиаторов в синаптической щели происходит во всех частях нашей нервной системы миллионы раз в секунду и является языком ее коммуникации. Это потрясающе сложный процесс и красивая тема для отдельных постов, книг и песен, а пока посмотрите короткое видео.
Обонятельная луковица (olfactory bulb) собирает сигналы от всех обонятельных нейронов и затем фильтрует, усредняет их по категориям и сжимает для дальнейшей передачи в высшие отделы мозга. Ее функцию можно сравнить с интернет маршрутизатором, перенаправляющим пакеты с информацией по определенным правилам на центральный сервер. Луковица имеет множество входов (те самые миллионы - от каждой из обонятельных клеток эпителия в носу) и один единственный выход в обонятельный тракт. И именно дисфункция луковицы вероятнее всего объясняет потерю обоняния, которую многие испытали во время COVID.
Обонятельная луковица дальше отправляет обонятельную информацию в другие отделы мозга где она может вызвать эмоции (как приятно пахнет), взаимодействовать с памятью (ах, это ведь те самые духи) памяти и обучении (кажется, в прошлый раз, когда я чувствовал этот запах, мне говорили что это ветивер). При этом часть импульсов минует наше сознательное внимание и вызывает рефлексы. Например, особенно острая вонь может вызывать рвотный позыв помимо нашей сознательной реакции. Другие более сложные запахи завязаны на высшую нервную деятельность и активируют образное восприятие, но об этом подробнее в следующий раз.
В основные обязанности луковицы входит подсознательное различение запахов (чувствую запах книжных страниц, старого дивана, и собаки в углу, нет причин передавать информацию выше), повышение чувствительности к отдельным запахам (так-так-так, что-то новое появилось на фоне, усиливаем канал #524), фильтрация отдельного запаха на фоне других (полный фокус на канал #524, временно игнорируем все остальное) и передача сигналам высшим нервным центрам, ответственным за внимание и возбуждение (эй мозг, бегом на кухню, кажется, кофе на плите уже закипел). Пример фигуративный, категория "кофе" появляется чуть позже, и об этом в следующий раз, но общий принцип такой.
Именно луковица отправляет самые ранние сигналы другим отделам для изменения поведения на основе обонятельных впечатлений, будь то запах потенциальной пищи для волка в лесу или, например, запах испорченного фрукта, который вы еще не успели надкусить. Поблагодарите ее за это в следующий раз!
#senses #air
Итак, летучие вещества, испарившись из чашки кофе на столе, прилетели к нам в нос и связались с миллионами обонятельных нейронов 200 разных типов, каждый из которых отвечает за чувствительность к определенной категории соединений. Рецепторы запускают сложнейший каскад сигналов по нервной системе — электрические импульсы попадают в обонятельную луковицу — специальный отдел мозга
Эволюция все устроила так, что электрический импульс может распространятся только в пределах одного нейрона, а когда добегает до его границы (синаптической щели), происходит еще одно преобразование в химическую . Электрический импульс активирует выброс капсул с нейромедиатором (в обонятельной системе это глутамат), а нейроны обонятельной луковицы в свою очередь имеют рецепторы глутамата, который обнаружив его, зажигают следующий электрический импульс уже в нейроне обонятельной луковицы. Это преобразование электрических сигналов в выбросы нейромедиаторов в синаптической щели происходит во всех частях нашей нервной системы миллионы раз в секунду и является языком ее коммуникации. Это потрясающе сложный процесс и красивая тема для отдельных постов, книг и песен, а пока посмотрите короткое видео.
Обонятельная луковица (olfactory bulb) собирает сигналы от всех обонятельных нейронов и затем фильтрует, усредняет их по категориям и сжимает для дальнейшей передачи в высшие отделы мозга. Ее функцию можно сравнить с интернет маршрутизатором, перенаправляющим пакеты с информацией по определенным правилам на центральный сервер. Луковица имеет множество входов (те самые миллионы - от каждой из обонятельных клеток эпителия в носу) и один единственный выход в обонятельный тракт. И именно дисфункция луковицы вероятнее всего объясняет потерю обоняния, которую многие испытали во время COVID.
Обонятельная луковица дальше отправляет обонятельную информацию в другие отделы мозга где она может вызвать эмоции (как приятно пахнет), взаимодействовать с памятью (ах, это ведь те самые духи) памяти и обучении (кажется, в прошлый раз, когда я чувствовал этот запах, мне говорили что это ветивер). При этом часть импульсов минует наше сознательное внимание и вызывает рефлексы. Например, особенно острая вонь может вызывать рвотный позыв помимо нашей сознательной реакции. Другие более сложные запахи завязаны на высшую нервную деятельность и активируют образное восприятие, но об этом подробнее в следующий раз.
В основные обязанности луковицы входит подсознательное различение запахов (чувствую запах книжных страниц, старого дивана, и собаки в углу, нет причин передавать информацию выше), повышение чувствительности к отдельным запахам (так-так-так, что-то новое появилось на фоне, усиливаем канал #524), фильтрация отдельного запаха на фоне других (полный фокус на канал #524, временно игнорируем все остальное) и передача сигналам высшим нервным центрам, ответственным за внимание и возбуждение (эй мозг, бегом на кухню, кажется, кофе на плите уже закипел). Пример фигуративный, категория "кофе" появляется чуть позже, и об этом в следующий раз, но общий принцип такой.
Именно луковица отправляет самые ранние сигналы другим отделам для изменения поведения на основе обонятельных впечатлений, будь то запах потенциальной пищи для волка в лесу или, например, запах испорченного фрукта, который вы еще не успели надкусить. Поблагодарите ее за это в следующий раз!
#senses #air
🔥7🤯2
Рунглиш для LLM
общаясь с языковыми моделями каждый день, я заметил, что выработал особый язык, уже не совсем похожий на человеческий. например, я без предупреждения переключаюсь между языками.
LLM в принципе не мыслят человеческими словами (пост), но их лексемы ближе всего к языку английскому, просто потому что тексты в обучающей выборки на >70% англоязычные. Это нужно учитывать, когда вы просите их совершить какую-то цепочку сложных рассуждений
Промпт на заметку:
Output (gpt-4o):
#tools
общаясь с языковыми моделями каждый день, я заметил, что выработал особый язык, уже не совсем похожий на человеческий. например, я без предупреждения переключаюсь между языками.
LLM в принципе не мыслят человеческими словами (пост), но их лексемы ближе всего к языку английскому, просто потому что тексты в обучающей выборки на >70% англоязычные. Это нужно учитывать, когда вы просите их совершить какую-то цепочку сложных рассуждений
Промпт на заметку:
Help me to write a formal email to my boss using this draft:
“Я не очень то хотел делать то, что вы мне поручили, и, в общем, не сделал. Нужен еще месяц. И больше денег»
Answer in Russian.
Output (gpt-4o):
Уважаемый(ая) [Имя начальника],
Надеюсь, вы хорошо себя чувствуете.
Хочу обсудить с вами текущий проект, который вы мне поручили. К сожалению, я столкнулся с некоторыми трудностями, которые затормозили мой прогресс. Несмотря на приложения всех усилий, я пока не смог завершить поставленные задачи.
Я осознаю важность этого проекта и, чтобы обеспечить его успешное завершение, хотел бы попросить продление сроков на один месяц. Также, для выполнения поставленных целей с должным качеством, мне потребуется дополнительное финансирование.
Извините за возможные неудобства и надеюсь на ваше понимание и поддержку.
С уважением,
[Ваше полное имя]
#tools
👏9❤2