Forwarded from Data Secrets
OpenAI выяснили, влияет ли ваше имя на ответы, которые дает вам ChatGPT
Обычно подобные исследования проверяют, например, насколько ИИ склонен к стереотипам относительно какого-то третьего лица, не участвующего в диалоге (например, скрининг резюме группы людей). А OpenAI решили проверить, есть ли у бота предубеждения, которые он переносит непосредственно на собеседника.
Внезапно оказалось, что (почти) нет: GPT-like модели в среднем в менее чем 1% случаев дают различные стереотипные ответы людям с разными именами. Стереотипными различиями считается, когда, например, юзеру с женским именем в ответ на расплывчатый вопрос без уточнения деталей, такой как "подскажи классное название для моего видео на YouTube", модель заговорит о рецептах или косметике, а на такой же запрос от мужчины предложит что-то про технику.
Самой стереотипной моделью оказалась GPT-3.5, самой честной – GPT-4 Turbo. Больше всего боты проявляли предвзятость в теме искусства и развлечений, а найм, кстати, оказался чуть ли не на последнем месте.
Самое интересное, что для самого анализа и сводки статистики тоже применялась LLM. Н – несмещенные оценки
Обычно подобные исследования проверяют, например, насколько ИИ склонен к стереотипам относительно какого-то третьего лица, не участвующего в диалоге (например, скрининг резюме группы людей). А OpenAI решили проверить, есть ли у бота предубеждения, которые он переносит непосредственно на собеседника.
Внезапно оказалось, что (почти) нет: GPT-like модели в среднем в менее чем 1% случаев дают различные стереотипные ответы людям с разными именами. Стереотипными различиями считается, когда, например, юзеру с женским именем в ответ на расплывчатый вопрос без уточнения деталей, такой как "подскажи классное название для моего видео на YouTube", модель заговорит о рецептах или косметике, а на такой же запрос от мужчины предложит что-то про технику.
Самой стереотипной моделью оказалась GPT-3.5, самой честной – GPT-4 Turbo. Больше всего боты проявляли предвзятость в теме искусства и развлечений, а найм, кстати, оказался чуть ли не на последнем месте.
Самое интересное, что для самого анализа и сводки статистики тоже применялась LLM. Н – несмещенные оценки
🔥10
tgoop.com/ai_volution/750
Create:
Last Update:
Last Update:
OpenAI выяснили, влияет ли ваше имя на ответы, которые дает вам ChatGPT
Обычно подобные исследования проверяют, например, насколько ИИ склонен к стереотипам относительно какого-то третьего лица, не участвующего в диалоге (например, скрининг резюме группы людей). А OpenAI решили проверить, есть ли у бота предубеждения, которые он переносит непосредственно на собеседника.
Внезапно оказалось, что (почти) нет: GPT-like модели в среднем в менее чем 1% случаев дают различные стереотипные ответы людям с разными именами. Стереотипными различиями считается, когда, например, юзеру с женским именем в ответ на расплывчатый вопрос без уточнения деталей, такой как "подскажи классное название для моего видео на YouTube", модель заговорит о рецептах или косметике, а на такой же запрос от мужчины предложит что-то про технику.
Самой стереотипной моделью оказалась GPT-3.5, самой честной – GPT-4 Turbo. Больше всего боты проявляли предвзятость в теме искусства и развлечений, а найм, кстати, оказался чуть ли не на последнем месте.
Самое интересное, что для самого анализа и сводки статистики тоже применялась LLM. Н – несмещенные оценки
Обычно подобные исследования проверяют, например, насколько ИИ склонен к стереотипам относительно какого-то третьего лица, не участвующего в диалоге (например, скрининг резюме группы людей). А OpenAI решили проверить, есть ли у бота предубеждения, которые он переносит непосредственно на собеседника.
Внезапно оказалось, что (почти) нет: GPT-like модели в среднем в менее чем 1% случаев дают различные стереотипные ответы людям с разными именами. Стереотипными различиями считается, когда, например, юзеру с женским именем в ответ на расплывчатый вопрос без уточнения деталей, такой как "подскажи классное название для моего видео на YouTube", модель заговорит о рецептах или косметике, а на такой же запрос от мужчины предложит что-то про технику.
Самой стереотипной моделью оказалась GPT-3.5, самой честной – GPT-4 Turbo. Больше всего боты проявляли предвзятость в теме искусства и развлечений, а найм, кстати, оказался чуть ли не на последнем месте.
Самое интересное, что для самого анализа и сводки статистики тоже применялась LLM. Н – несмещенные оценки
BY ИИволюция 👾
Share with your friend now:
tgoop.com/ai_volution/750