В нашем чате происходит много интересного и полезного!

Возможно, это ответит на ваш вопрос

Встречал также статьи, где это реализовывалось: раз, два

👾 Эксперимент по аннотированию с использованием ИИ: Сравнение с человеческими аннотациями — пересказ статьи

Как проводился эксперимент по аннотированию?

Для оценки эффективности крупных языковых моделей (LLMs), таких как GPT-3 и GPT-4, в задачах аннотирования данных, был проведен эксперимент. Цель заключалась в том, чтобы сравнить результаты автоматических аннотаций, выполненных моделями, с аннотациями, сделанными людьми.

Выбор задач:
Классификация и генерация текстов: Были выбраны различные задачи, такие как детектирование дезинформации, анализ социального контекста и переосмысление формулировок.

Использование моделей:
Модели LLMs: Были задействованы модели GPT-3.5 и GPT-4, обученные на инструкциях и использующие методы обучения с подкреплением (RLHF) для генерации текстов и классификаций.

Человеческие аннотации:
Аннотаторы: Были наняты профессиональные аннотаторы через платформу Upwork, которые проводили ранжирование и оценку качества результатов, полученных моделями.

Процесс оценки:
Ранжирование и сравнение: Человеческие аннотаторы ранжировали результаты моделей и сравнивали их с собственными аннотациями для определения качества и точности генераций.

🔍В чем люди оказались лучше?

Глубокое понимание контекста: Люди способны лучше учитывать контекст и нюансы текста, что позволяет им делать более точные и релевантные аннотации.
Этичные и социально осознанные аннотации: Человеческие аннотаторы лучше справляются с этическими аспектами и социальными тонкостями, которые могут быть упущены моделями.
Креативность и интуиция: Люди обладают способностью креативного мышления и интуитивного понимания, что помогает им создавать более качественные и оригинальные тексты.

🔍В чем модели оказались лучше?

Скорость и объем обработки: Модели LLMs способны быстро обрабатывать большие объемы данных и генерировать аннотации в кратчайшие сроки, что значительно ускоряет исследовательские процессы.
Однородность аннотаций: Модели обеспечивают высокую консистентность и однородность в аннотациях, что снижает вариативность, часто присутствующую в результатах человеческой работы.

#теория_ИИ

Caleb Ziems, William Held, Omar Shaikh, Jiaao Chen, Zhehao Zhang, Diyi Yang; Can Large Language Models Transform Computational Social Science?. Computational Linguistics 2024; 50 (1): 237–291. doi: https://doi.org/10.1162/coli_a_00502

Библия промпт-инженера подоспела 🙂

The Prompt Report: A Systematic Survey of Prompting Techniques
https://arxiv.org/abs/2406.06608

Открытка в учёные беруши

Конкретные задачи студента-социолога и конкретные попытки их решить. Решение не всегда удачно и вообще возможно.

Задачей семинара для Университета без профессоров было показать, что чат-боты с ИИ внутри — не панацея, но и не монстры.

Ну и соблазнить абитуриентов идти учиться в Европейский университет. Особенно на направление STS.

По просьбе нетрудящего публикую опрос про чтение

Если вы читаете нехудожественные тексты (книги, статьи и т. д.), пройдите, пожалуйста, пятиминутный анонимный опрос о своём опыте чтения:
https://forms.gle/Zv2fkscLRWFHGFgr6

Мы делаем открытый онлайн-курс по аналитическому чтению, который планируем запустить осенью 2024-го года.  Мы — студенты, которые стремятся научиться эффективному чтению нехудожественных текстов и извлекать из них больше пользы. Работая над развитием своих навыков в книжных клубах, мы решили создать курс, который поможет и вам.

Мы просим вас пройти короткий опрос, который поможет нам лучше понять ваш опыт чтения и методы работы с текстами. Это позволит нам сделать курс более полезным и адаптированным к разным потребностям.

Опрос анонимный и займёт у вас не более 5 минут.

Когда вы в последний раз дочитали книгу? Вам нужен ИИ-компаньон для чтения

Эта статья WIRED о Rebind - новом приложении, которое использует искусственный интеллект, чтобы сделать чтение классических книг более доступным и интересным.

Rebind подключает к читателям "Ghostbinder" - эксперта по выбранной книге, с которым можно взаимодействовать в чате. AI-Ghostbinder будет комментировать текст, отвечать на вопросы и вести диалог с читателем.

Создатель Rebind, Джон Дюбюк: бывший предприниматель, который заработал состояние, продал свою компанию. После этого он решил вернуться к своей любви - философии, но столкнулся с тем, что не мог прочитать сложные книги. Он нанял профессора из Оксфорда для персональных уроков и почувствовал, что такое же желание испытывают многие люди. Дюбюк увидел в ChatGPT возможность, которая может помочь людям читать классику, и решил создать Rebind.

Как работает Rebind: Приложение использует большие языковые модели (LLMs) для создания "chattable" комментариев, которые звучат как живой разговор. Rebind работает с несколькими моделями, включая GPT-4o от OpenAI. Приложение создано для активного взаимодействия с пользователем, а не для пассивного чтения. Rebind - это не просто "Спроси меня о чем угодно", а платформа, которая помогает пользователям глубже погрузиться в текст.

Автор статьи попробовал Rebind с The Great Gatsby. Он спросил AI-Ghostbinder, был ли Гэтсби просто богатым придурком. AI-Ghostbinder ответил, что Гэтсби - сложный персонаж, не стоит его упрощать.

Проблемы: Некоторые люди, как журналистка Лена Данхэм, нашли AI-Ghostbinder слишком нейтральным и недостаточно личным. Однако, автору статьи нравится идея Rebind и он с нетерпением ждет, когда сможет использовать приложение для чтения "Ромео и Джульетты".

#ИИ_для_чтения

Я считаю, всех с пелёнок надо учить библиографии и промт-инжинирингу.

В Google Colab можно генерировать код прямо в редакторе.

Вау ⭐️

Новый подход позволяет определить, когда чатботы что-то выдумывают

Искусственный интеллект (ИИ) становится всё более мощным инструментом, способным решать сложные задачи, от написания текстов до генерации музыки. Однако, как и у людей, у ИИ есть свои "слабости". Одна из них - "галлюцинации", когда ИИ выдает за правду выдуманные факты.

Почему так происходит? Большие языковые модели (LLM), лежащие в основе современных ИИ-систем, обучены не "знать" правду, а генерировать правдоподобные тексты. Они анализируют огромные массивы данных, выявляя взаимосвязи между словами и фразами, но не проверяют их на истинность.

Чтобы избежать подобных ошибок, исследователи ИИ ищут способы отличить "правду" от "выдумки" в ответах LLM. Один из перспективных методов, описанный в статье в журнале Nature, основан на измерении "семантической энтропии" - насколько случайны ответы ИИ на один и тот же вопрос.

Если ответы ИИ сильно отличаются по смыслу, значит, он, скорее всего, "бредит", выдумывая информацию. В случае, если ответы схожи по смыслу, можно говорить о том, что ИИ "говорит правду".

Этот подход можно сравнить с методом "хороший полицейский, плохой полицейский". Если человек упорно придерживается одной версии событий, значит, он, вероятно, говорит правду.

Однако, исследователи подчеркивают, что данный метод не решает все проблемы с "галлюцинациями" ИИ. Он может не распознать ситуации, когда ИИ упорно держится за выдуманный факт, повторяя его снова и снова.

ИИ в библиотеке — проще, чем кажется!

Недавнее исследование, опубликованное в журнале "Evidence Based Library and Information Practice", доказывает: создать чат-бота на основе ИИ для библиотеки – задача выполнимая даже с минимальными техническими знаниями и ограниченными ресурсами.

В статье рассказывается о проекте библиотеки Университета Сан-Хосе, где библиотекарь и два студента-стажера разработали собственного чат-бота. Используя платформу Dialogflow и готовые виджеты, они "обучили" бота отвечать на базовые вопросы пользователей, находить нужные книги и статьи, сообщать о часах работы библиотеки и многое другое.

✂️Разработчикам не потребовались глубокие знания программирования или дорогие инструменты.
🎯Этот пример демонстрирует, что внедрение ИИ становится реальностью даже для небольших организаций с ограниченными бюджетами.

Конечно, проект выявил и некоторые сложности, например, низкая вовлеченность пользователей после первоначального приветствия. Это подчеркивает важность дальнейших исследований в области юзабилити и восприятия чат-ботов пользователями.

Про работу и ее поиск: личный опыт составления CV

Сейчас многие, как и я, выпустились из университетов и, вероятно, задумались о начале карьеры или её трансформации. Я уже более 5 лет работаю в исследовательской сфере. За это время я сменила несколько направлений, приобрела значительную экспертизу и даже специализацию.

Хотя сейчас я не нахожусь в активной фазе рассылки резюме и срочного поиска работы, я регулярно обновляю своё CV. В первую очередь для того, чтобы отслеживать свой профессиональный прогресс и намечать следующие точки развития карьеры.

Я также часто мониторю вакансии для исследователей, чтобы понимать, какие скиллы и знания нужны сейчас на рынке труда.

В постах ниже я хочу поделиться несколькими лайфхаками, которые я нашла для себя полезными в части составления резюме, раскрывавшего бы мой исследовательский профессионализм.

#исследовательские_трудовыебудни

Про хард скилы

Моё резюме построено таким образом, чтобы показать, какие задачи я могу решать и какие результаты достигаю. Я описываю процессы, которые могу осуществить, и результаты в виде исследовательских продуктов или решений конкретных задач. Это помогает работодателям понять, какую пользу я могу принести их бизнесу. Я привожу конкретные примеры задач, которые решала для клиентов, и какие бизнес-преимущества они получили.

В резюме я перечисляю программы, с которыми работаю, включая базовые инструменты, такие как Google Sheets, Google Docs, PowerPoint и Canva. Я отмечаю, что владею этими инструментами на продвинутом уровне, а также указываю более специфические навыки, такие как работа с формулами и графиками в Excel и Google Sheets, знание Power Qeury или создания стилей.

Кроме того, я детально описываю все программы, которыми владею. Я разделяю аналитические и исследовательские инструменты, а также программы для упаковки и визуализации отчётов. Например, я указываю навыки составления презентаций и визуализации данных с помощью графиков и диаграмм.

Среди исследовательских инструментов я упоминаю владение Python для проведения базовых статистических тестов. Хотя я не пишу код на Python самостоятельно, я могу использовать его с помощью искусственного интеллекта. Об этом я пишу открыто, чтобы не было впечатления, будто я разработчик.

Так как я специализируюсь на кабинетных исследованиях, у меня нет опыта работы со специализированными программами, но я отлично владею поиском информации. Умею писать скрипты для сбора данных, использовать Google на продвинутом уровне и находить информацию в интернете, включая базы данных стартапов и патентные статистики.

#исследовательские_трудовыебудни

Про подачу себя

Моё резюме, ссылку на которое я оставлю в качестве примера, имеет один недостаток — оно слишком общее. Так как я не занимаюсь активным поиском работы, я не адаптирую резюме под каждую вакансию. Однако, если бы я планировала развиваться в определённой сфере, я бы сделала акцент на соответствующем опыте и навыках.

Например, если бы я хотела развиваться как социолог, я бы акцентировала внимание на своём опыте проведения интервью и методах, изученных в магистратуре. Если бы я искала работу в области скаутинга стартапов, я бы выделила свои навыки презентации и понимания рынка стартапов.

Мои лайфхаки:

Адаптация под вакансию: Ваше резюме должно максимально соответствовать требованиям вакансии, на которую вы подаёте заявку. Просмотрите несколько идеальных вакансий и составьте резюме так, чтобы оно отражало, насколько вы соответствуете этим требованиям.

Различные версии резюме: У вас может быть несколько версий резюме для разных вакансий. Это нормально и позволяет вам лучше соответствовать конкретным требованиям работодателей.

Определение пробелов: Часто при составлении резюме выясняется, что вы чего-то ещё не знаете или не умеете. Это помогает определить направления для дальнейшего обучения и развития.

Указание soft skills: Включите в резюме soft skills, которые могут быть полезны на новой работе. Например, любовь к систематизации и созданию библиотек знаний может быть ценным навыком для компании.

Портфолио: Наличие портфолио, даже небольших упражнений или исследований, может значительно улучшить ваше резюме. Я так делала, пока бизнес-кейсов не было — прикрепляла учебные упражнения с графиками и данными.

А какие лайфхаки вы используете при составлении резюме? Если тут есть работодатели — на что вы смотрите в резюме?

#исследовательские_трудовыебудни