WrongTech

На хакатоне «Прожектор 2021» команда AivsBIAS отучила ИИ от гендерных стереотипов. Команда выделила вектора слов, которые ассоциируются с «мужским» и «женским». Затем ребята написали корректирующую функцию, которая убрала стереотипные ассоциации (типа «милый» с женским или «лидер» с мужским). В итоге ИИ научился связывать, к примеру, «умелый/ая» или «измена» не только с мужчинами, но и с женщинами. Подробности можно посмотреть здесь.

В качестве текстов для обучения своего алгоритма ребята взяли два романа Льва Толстого: «Анну Каренину» и «Войну и мир», поскольку это «толстенные книги, в которых текста достаточно, чтобы обучить полноценную модель».

Мне очень любопытно, что получится у ребят дальше, тем более что они открыты для того, чтобы специалисты по этике, социологии и т.д. помогали им в совершенствовании их модели непредвзятого (или как они говорят, нетоксичного) алгоритма.

Но один комментарий все-таки хочется дать. Он навеян чтением книжки В. Шкловского «Энергия заблуждения», которая во многом посвящена Л. Толстому. Шкловский пишет, что герои Толстого постоянно изменяются. «В романах Толстого герой делает то, что нужно, что ему предлагают обстоятельства… В новых обстоятельствах он, по существу, становится новым героем». Если эта мысль классика литературоведения верна, то просто брать текст Толстого, разбивать его на слова и строить из них вектора кажется проблематичным. Ведь для Толстого слова, обознающие, скажем, Анну Каренину, были не просто словами, которые ему диктовало его довольно сексистское по нашим меркам окружение конца XIX века. Это были слова, которые говорили читателю об изменении Анны. Каждый эпитет был подобран, чтобы показать трансформацию Анны от верной, хотя и снисходительной, жены к женщине, которая готова выйти за нравственные рамки ее круга. Возможно ли тогда просто собирать все слова вокруг Анны, как если бы они были отражением своего времени или, скажем, классовых и гендерных стереотипов Толстого? Хороший вопрос.

Да и сама Анна менялась в представлении Толстого. «В первоначальных набросках она полная женщина с очень красивыми глазами; она нравится мужчинам и не нравится женщинам; одета вызывающе. Она добра, но она не «ком-иль-фо». В классическом написании текста романа Анна становится прекрасной, выдержанной, хорошо двигающейся, сильная молодая женщина, чувствующая свое превосходство; несколько снисходительная к своему мужу, именно как к мужу».

Это все к тому, что если уж ИИ такой умный, то необходимо брать в рассмотрение логику того, как построен источник, откуда берутся данные. Как у самого Толстого выстроены вектора трансформации эпитетов героев. Вместо того, чтобы брать в среднем по роману. И здесь помимо специалистов по этике и машинному обучению, очевидно и филологи должны подтянуться.

te-st.org

«Нетоксичный алгоритм». Интервью с участниками хакатона "Прожектор 2021" о том, как вылечить сексизм переводчиков и чатботов

Интервью с участниками хакатона «Прожектор 2021»

www.tgoop.com/wrongtech/657

1.55K viewsNikolay Rudenko, edited  Mar 19, 2021 at 13:33

На хакатоне «Прожектор 2021» команда AivsBIAS отучила ИИ от гендерных стереотипов. Команда выделила вектора слов, которые ассоциируются с «мужским» и «женским». Затем ребята написали корректирующую функцию, которая убрала стереотипные ассоциации (типа «милый» с женским или «лидер» с мужским). В итоге ИИ научился связывать, к примеру, «умелый/ая» или «измена» не только с мужчинами, но и с женщинами. Подробности можно посмотреть здесь.

В качестве текстов для обучения своего алгоритма ребята взяли два романа Льва Толстого: «Анну Каренину» и «Войну и мир», поскольку это «толстенные книги, в которых текста достаточно, чтобы обучить полноценную модель».

Мне очень любопытно, что получится у ребят дальше, тем более что они открыты для того, чтобы специалисты по этике, социологии и т.д. помогали им в совершенствовании их модели непредвзятого (или как они говорят, нетоксичного) алгоритма.

Но один комментарий все-таки хочется дать. Он навеян чтением книжки В. Шкловского «Энергия заблуждения», которая во многом посвящена Л. Толстому. Шкловский пишет, что герои Толстого постоянно изменяются. «В романах Толстого герой делает то, что нужно, что ему предлагают обстоятельства… В новых обстоятельствах он, по существу, становится новым героем». Если эта мысль классика литературоведения верна, то просто брать текст Толстого, разбивать его на слова и строить из них вектора кажется проблематичным. Ведь для Толстого слова, обознающие, скажем, Анну Каренину, были не просто словами, которые ему диктовало его довольно сексистское по нашим меркам окружение конца XIX века. Это были слова, которые говорили читателю об изменении Анны. Каждый эпитет был подобран, чтобы показать трансформацию Анны от верной, хотя и снисходительной, жены к женщине, которая готова выйти за нравственные рамки ее круга. Возможно ли тогда просто собирать все слова вокруг Анны, как если бы они были отражением своего времени или, скажем, классовых и гендерных стереотипов Толстого? Хороший вопрос.

Да и сама Анна менялась в представлении Толстого. «В первоначальных набросках она полная женщина с очень красивыми глазами; она нравится мужчинам и не нравится женщинам; одета вызывающе. Она добра, но она не «ком-иль-фо». В классическом написании текста романа Анна становится прекрасной, выдержанной, хорошо двигающейся, сильная молодая женщина, чувствующая свое превосходство; несколько снисходительная к своему мужу, именно как к мужу».

Это все к тому, что если уж ИИ такой умный, то необходимо брать в рассмотрение логику того, как построен источник, откуда берутся данные. Как у самого Толстого выстроены вектора трансформации эпитетов героев. Вместо того, чтобы брать в среднем по роману. И здесь помимо специалистов по этике и машинному обучению, очевидно и филологи должны подтянуться.

BY WrongTech