Американские специалисты по машинному обучению выяснили, что если «учить» компьютерные алгоритмы восприятию человеческого языка на примере реальных текстов из сети, то машина в итоге перенимает от их авторов стереотипы, в том числе гендерные и расовые.
Специалисты по информационным технологиям из университетов Принстона и Бата (Британия) обучили популярный алгоритм GloVe, который часто используется в проектах по машинному обучению, на корпусе текстов на английском языке, содержащих в сумме 840 миллиардов слов. Затем ученые разработали для машины аналог теста подсознательных ассоциаций. Этот разработанный в конце 1990-х в Вашингтонском университете тест активно используется в психологических и социологических исследованиях: в нем предлагается объединить в пары различные понятия и оценивается скорость принятия решений — чем быстрее человек связывает два понятия, тем ближе они для него. У GloVe вместо скорости реакции оценивали близость векторных моделей ассоциаций для каждого слова, которые создает алгоритм.
С помощью этого теста за всю историю его применения у людей нашли множество разных стереотипов и предпочтений. Например, цветы людям в целом приятнее насекомых, музыкальные инструменты приятнее оружия, молодых люди предпочитают пожилым, а худых — толстым. В данном случае удалось воспроизвести эти результаты на GloVe. Например, вслед за людьми машина сильнее ассоциировала женские имена с понятиями, связанными с семьей, например с «родителями» или «свадьбой», а мужские — с карьерой и профессиями. А имена, звучащие как афроамериканские, чаще, чем «европейские», ассоциировались с чем-то неприятным.
Один из разработчиков исходного «человеческого» теста, психолог из Вашингтонского университета Энтони Гринуолд в комментарии к статье пишет, что разработанный учеными «компьютерный» тест полезен не только для того, чтобы уличать роботов в расизме и сексизме. Например, он может помочь восстановить историю изменений человеческих стереотипов, проанализировав тексты, появившиеся еще до создания теста подсознательных ассоциаций. Скажем, в последние 15 лет тест подсознательных ассоциаций показывает медленное, но стабильное смягчение предубеждений против геев и лесбиянок, и анализ текстов мог бы помочь понять, когда именно возникла эта тенденция. Кроме того, тест создает новые возможности для проверки «спорной», по словам Гринуолда, гипотезы лингвистической относительности, также известной как гипотеза Сепира — Уорфа. Согласно этой гипотезе, именно язык и его особенности определяют мировоззрение и мышление его носителей.
Специалисты по информационным технологиям из университетов Принстона и Бата (Британия) обучили популярный алгоритм GloVe, который часто используется в проектах по машинному обучению, на корпусе текстов на английском языке, содержащих в сумме 840 миллиардов слов. Затем ученые разработали для машины аналог теста подсознательных ассоциаций. Этот разработанный в конце 1990-х в Вашингтонском университете тест активно используется в психологических и социологических исследованиях: в нем предлагается объединить в пары различные понятия и оценивается скорость принятия решений — чем быстрее человек связывает два понятия, тем ближе они для него. У GloVe вместо скорости реакции оценивали близость векторных моделей ассоциаций для каждого слова, которые создает алгоритм.
С помощью этого теста за всю историю его применения у людей нашли множество разных стереотипов и предпочтений. Например, цветы людям в целом приятнее насекомых, музыкальные инструменты приятнее оружия, молодых люди предпочитают пожилым, а худых — толстым. В данном случае удалось воспроизвести эти результаты на GloVe. Например, вслед за людьми машина сильнее ассоциировала женские имена с понятиями, связанными с семьей, например с «родителями» или «свадьбой», а мужские — с карьерой и профессиями. А имена, звучащие как афроамериканские, чаще, чем «европейские», ассоциировались с чем-то неприятным.
Один из разработчиков исходного «человеческого» теста, психолог из Вашингтонского университета Энтони Гринуолд в комментарии к статье пишет, что разработанный учеными «компьютерный» тест полезен не только для того, чтобы уличать роботов в расизме и сексизме. Например, он может помочь восстановить историю изменений человеческих стереотипов, проанализировав тексты, появившиеся еще до создания теста подсознательных ассоциаций. Скажем, в последние 15 лет тест подсознательных ассоциаций показывает медленное, но стабильное смягчение предубеждений против геев и лесбиянок, и анализ текстов мог бы помочь понять, когда именно возникла эта тенденция. Кроме того, тест создает новые возможности для проверки «спорной», по словам Гринуолда, гипотезы лингвистической относительности, также известной как гипотеза Сепира — Уорфа. Согласно этой гипотезе, именно язык и его особенности определяют мировоззрение и мышление его носителей.
Авторы статьи предупреждают, что по мере того, как технологии машинного обучения будут играть все более важную роль в принятии решений, риски закрепления неприятных особенностей мышления, с которыми сами люди пытаются бороться, возрастают. Уже сейчас в «сексизме» замечен онлайн-переводчик Google Translate: переводя предложения «он(а) врач» и «он(а) медсестра или медбрат» с гендерно нейтральных турецкого, финского, эстонского, венгерского и персидского на английский, он автоматически «назначает» врача мужчиной, а медсестру — женщиной.
«Если алгоритмы, используемые, например, для предварительного отбора резюме, будут перенимать культурные стереотипы, это приведет к несправедливым решениям», — пишут ученые. По их мнению, чтобы разрешить эту проблему, стоит разобраться, как прямо прописывать допустимое и недопустимое поведение машины.
«Надеюсь, задача „очистки“ решений искусственного интеллекта от влияния предрассудков и стереотипов окажется более решаемой, чем аналогичная и пока неразрешимая задача для людей», — пишет Гринуолд.
Лингвист, доцент факультета гуманитарных наук Борис Орехов пояснил, что еще некоторое время назад ученые обнаружили, что из больших коллекций текстов, которые стали доступны в электронном виде, можно компьютерными методами извлекать знание об устройстве человеческих представлений.
«Много шума наделала статья в том же Science в 2010 году, в которой фактически было объявлено о создании новой научной дисциплины — культуромики, которая исследует человеческие представления в исторической плоскости с помощью поиска определенных слов в отсканированных Гуглом книгах. Демонстрируя этот подход, очень любят показывать, что слова „религия“ и „наука“ в истории западной культуры находятся в отношениях обратной корреляции: роль первой неуклонно снижается, а второй — растет, при этом наука обходит религию по упоминаемости в книгах, а стало быть, по значимости, примерно в 1930-х годах», — рассказал Орехов.
Похожие идеи по анализу ассоциаций для каждого слова воплощаются и на русском языке: в интернете доступен сайт RusVectōrēs, который позволяет на русских текстах вычислить близость слов друг к другу и построить карту их отношений, говорит ученый. В целом новая работа специалистов вряд ли удивит: основная проблема такого рода статей, по мнению Орехова, в том, что выводы, которые в них делаются, банальны: «Мы, в общем, и так знали, что цветы нравятся людям больше, чем насекомые».
«Это исследование в самом деле скорее не рассказывает человеку о нем самом — человек все это про себя и так знал, а стремится наладить способ сообщения человеческого и даже „слишком человеческого“, как говорил Ницше, будущему искусственному интеллекту, который, как говорят одни, появится в течение пары десятилетий, а другие — что не появится никогда», — считает ученый.
Так что желтые заголовки о том, что «роботы перенимают у людей расизм и сексизм», в какой-то мере могут быть оправданы, заключает Орехов.
Исследование опубликовано в журнале Science.