Они меня не знают, я не число. Я человек.
Здесь мы разберем проблему биасов нейросетей, того, как они возникают, и того, как они влияют на наши жизни.
Понимание принципов работы проблемы и ее истоков, как мне кажется, уже наполовину ведет к ее решению. Посему в этой работе мы коснемся истории, уже совершенных практических «ошибок» в сфере этой проблемы, и, возможно, предложим несколько путей ее решения. Проще говоря — от общего к частному.
Итого, перво-наперво стоит разобраться, что есть биас и при каких обстоятельствах он появляется.
«Биас» — это предвзятость или искажение восприятия, которое может привести к нерациональному принятию решений. Это систематическая ошибка или смещение в результатах из-за предубеждения или неправильной обработки информации. Например, если в эксперименте используется ненадежный метод измерения или если исследовательское сообщество склонно пренебрегать определенными данными из-за своих убеждений, это может привести к появлению биаса.
Теперь, когда читателю ясно первое, жизненно важное для текста (но, возможно, не его жизни) определение, мы вправе шагнуть чуть дальше и понять для себя, когда и при каких обстоятельствах этот биас появляется.
Обыкновенно выделяют три основных причины его возникновения, но не будем вдаваться в них слишком подробно на этом этапе, пройдемся «по верхам»
1. Некорректная постановка задачи.
Допустим, розничная компания хочет использовать методы машинного обучения для определения предпочтений потребителей. Однако предпочтения и вкусы людей — это сложные и индивидуальные концепции, и разработанная модель будет отражать в себе представления разработчиков о том, как можно сформулировать их в более точные параметры. В этом случае задача поставлена слишком широко, и основывается на индивидуальных предпочтениях людей, что сложно представить в виде конкретного списка, по которому программа будет определять свою работу.
2. Некорректный сбор данных.
«Существует два основных способа проявления предвзятости в данных обучения: либо собранные вами данные не отражают реальность, либо они отражают существующие предрассудки. Первый случай может произойти, например, если алгоритму глубокого обучения будет передано больше фотографий светлокожих лиц, чем темнокожих. В результате распознавания лиц система неизбежно будет хуже распознавать людей с темной кожей лица. Второй случай — это именно то, что произошло, когда Amazon обнаружила, что ее внутренний инструмент подбора персонала увольняет женщин-кандидатов. Поскольку ИТ-отдел был обучен историческим решениям о приеме на работу, в которых предпочтение отдавалось мужчинам, а не женщинам, он научился делать то же самое.» [Карен Хао, 2019]
3. Некорректная подготовка данных.
Подготовка данных — это важный этап, на котором происходит выбор атрибутов, которые будут учитываться в модели. Это необходимо отличать от формулирования самой проблемы, так как для разных задач могут использоваться как одни и те же атрибуты, так и разные.Например, при создании модели определения предпочтений потребителей для системы рекомендации товаров могут использоваться атрибуты, такие как предпочитаемые категории товаров, предыдущие покупки или рейтинги отзывов. А при разработке рекрутингового инструмента для Amazon можно использовать атрибуты, такие как пол кандидата, уровень образования или опыт работы. Выбор того, какие атрибуты учитывать и какие игнорировать, является важным аспектом глубокого обучения, и он может сильно повлиять на точность прогнозов модели. Однако, хотя его влияние на точность легко измерить, его воздействие на смещение модели не так просто оценить.
Теперь, когда с формальностями покончено, можно двигаться дальше, к более интересным для нас темам.
Термин «биасы нейросетей» — крайне сложен, ведь чисто при попытке разложить его на составляющие начинается казаться, что этот феномен (биас) задает сама нейросеть. Однако, как мы выяснили выше, зачастую виноват в возникновении ошибок именно человек, тренирующий эту сеть. Таким образом выходит, что корректнее в этом случае будет говорить «биас людей, тренирующих нейросети»? И да, и нет. С одной стороны, феномен «баиса» — чисто человеческий, для нейросети понятие «неэтичности», происходящее вследствие внутренних «ошибок» крайне условно. Так что, в нашем случае, «биас в глазах смотрящего». При этом возвращаясь к терминологии, важно понимать, что нейросеть может также усиливать или даже создавать новый биас на основе обучающих данных. Поэтому можно говорить как о «биасе нейросети», так и о «биасе человека, тренирующего эту нейросеть».
Как мне кажется, все становится легче с примерами.
Например, врач, обучая нейросеть для диагностики определенного заболевания на основе медицинских изображений (например, рентгеновских снимков), может иметь свои субъективные предпочтения и мнения относительно того, какие признаки следует считать более важными при диагностике. Эти предпочтения и мнения могут быть отражены в обучающих данных, которые врач использует для обучения нейросети.
После такого обучения, когда нейросеть начинает принимать решения самостоятельно, она может усвоить и увеличить эти изначальные предпочтения врача, что приведет к формированию собственных предубеждений и ассоциаций, отличных от изначальных предпочтений врача. Таким образом, биас, заложенный в исходных выборках данных, может эволюционировать и измениться в процессе внутреннего обучения нейросети.
Пример работы нейросети (CNN) использующейся для обнаружения опухоли. Слева — снимок мрт, справа — работа CNN. Зеленое — отек, желтое — прогрессирующая опухоль, красное — некротическое ядро опухоли.
Приобретенный через процесс самообучения биас нейросети может проявиться в предпочтениях относительно интерпретации определенных признаков на изображениях. Например, если в исходных данных врача были определенные тенденции относительно того, какие признаки ассоциировались с определенным диагнозом, нейросеть, приобретая свой собственный опыт, может начать усиливать или изменять эти ассоциации в процессе принятия решений. Таким образом, при своем внутреннем обучении нейросеть может развить предпочтения относительно того, какие признаки на изображениях следует рассматривать при диагностике, и какие признаки она считает более важными, приводя к формированию собственных предубеждений и ассоциаций, которые отражают ее собственный внутренний биас, который может отличаться от изначального.
Это был довольно грубый пример, созданный для того, чтобы объяснить читателю проблему в более прикладном характере. Теперь мы знаем, что биас может идти от двух сторон — начальной и конечной, как от создателя, так и от творения в процессе самообучения. Но что, если есть еще и третья сторона, промежуточная — пользователь?
Это не частные случаи как может показаться, когда пользователи влияют на развитие нейросети и формирование ее внутренних правил. Возможен случай, когда модель обучения была чиста, нейросеть при самообучении самостоятельно не вывела свои собственные предпочтения, но, к несчастью, их привносит сам пользователь.
Нейросети склонны угождать тем, кто с ними общается. И, порой, они готовы пренебречь занесенными в них доселе правилам и внутренним структурам, чтобы пользователь остался наиболее благосклонным и довольным результатом. Таким образом, к примеру, обучен GPT-4 (OpenAI, 2023). Он натренирован выдавать ответы, которые потенциально будут наиболее высоко оценены пользователем на основе его предыдущего поведения. [Миринак Шарма, 2023, с. 1, 3]
Миринак Шарма, «К пониманию подхалимства в языковых моделях», ИИ признает ошибку после правильного ответа. Проценты — слева.
Миринак Шарма, «К пониманию подхалимства в языковых моделях», ИИ после правильного ответа переходит к неправильному ответу. Проценты — слева.
Значит ли это, что при особом стечении обстоятельств в этой модели могут возникать частные случаи биаса? абсолютно. Значит ли это, что при частом влиянии на ответы GPT множеством пользователей он может начать выдавать информацию, подверженную Биасу прочих пользователей тем, кто до этого с ним не сталкивался, и тем самым распространяя сложившийся биас? несомненно. Значит ли это, что мы остановимся на достигнутом результате и закончим нашу статью? Никак нет.
То, что было сказано выше в основном можно было считать «информацией на бумаге», мало как соприкасающейся с обычной жизнью среднестатистического человека. GPT-4 подтасовывает факты? Пускай, пока это остается в пределах веб-страницы на компьютере, которую не составляет сущей проблемы закрыть простым кликом мыши.
Однако влияние нейросетей в «реальной» жизни куда сильнее, чем может представить рядовой пользователь. как писали Нильс Кловайт и Мария Ерофеева в своей статье «Работа в эпоху разумных машин: зарождение невидимой автоматизации», большинство работ сейчас складывается к автоматизации.
«В XX веке были автоматизированы однообразные умственные задачи, такие как обработка данных (то есть умственный рутинный труд). XXI век характеризуется растущим потенциалом автоматизации как умственных, так и ручных нестандартных задач.» [Кловайт, Ерофеева, 2019, с. 60].
Это значит, что людской труд, который ранее казался неавтоматизируемым из-за ряда факторов, сейчас может быть с большой вероятностью заменен машинным.
Нильс Ковальт, Мария Ерофеева. Рабочий стол, обработанный нейронным алгоритмом распознавания образов. Абсолютная чистота фото уже не требуется, алгоритм определяет вещи и в бардаке.
Примеры далее, в которых были использованы нейросети, лишены драматизации (социальной видимости) заменяемой профессии. «Основным последствием автоматизации для такого типа профессии станет ее сведениие к иконической видимости: судья-человек зачитывает приговор, но решение было вынесено алгоритмом на основании обработки юридической информации.» [Кловайт, Ерофеева, 2019, с. 73] При этом эта же машина не в состоянии понять социальную часть проблем того, что она пытается решить. С одной точки зрения, это кажется прекрасным решением многих проблем — нейросети могут быть полностью объективны (хоть это высказывание и крайне спорно, ведь, в основном, их объективность выстраивается на условной «объективности» автора ее создавшего), машина может работать на основе сухих фактов, ей не нужно есть, пить, отдыхать и, таким образом, человеку-работнику, состоящему в симбиозе с ИИ, остается время от времени пожимать плоды безупречной объективно верной работы своего товарища, пользуясь его обработкой огромного количества данных.
Так? Ведь так, да?
Иногда подобные решения дают сбой в системе. Практически ровно по той же причине, за что мы и пытаемся ценить машину в таких делах — асоциальность и беспристрастность. Человека сложно свести к простому набору цифр, по которому можно ориентироваться. И в любом случае подобная попытка «цифровизации личности», приводящая к разбиванию человека на простые множества — «пол», «возраст», «семейное положение», «расовая принадлежность» — будет идти вразрез с теми правилами жизни, что мы выстраивали множество веков.
Это хорошо иллюстрирует система, используемая голландским городом Роттердамом, которая попыталась ранжировать людей на основе их риска мошенничества. [Ева Константарас, Габриэль Гейгер, Джастин-казимир Браун, Дхрув Мехротра, Хтет Аунг, 2023]
Midjorney, 2023
Среди факторов, усиливающих вероятность махинаций был возраст, факт родительства, пол человека, проблемы с поиском работы в течение н-ного времени, знание языка и зависимости.
На бумаге же некоторые из этих факторов могут показаться крайне логичными — в действительности же, вероятно, люди с проблемами в поиске работы склонны к махинациям с налогами и пособиями больше, чем люди без этих проблем? Но тут мы возвращаемся в самое начало нашего долгого пути. К причинам, которые ведут к образованию биаса. Некорректная постановка задачи.
Представление работников отвечающих за разработку данной нейросети не могут учитывать всех реальных факторов, ведущих к столь сложному по своей концепции понятию «человек-мошенник». Их факторы, внесенные в сеть, крайне субъективны, и не могут отражать полной картины. Те же проблемы с поиском работы можно объяснить болезнью безработного, но это не сделает его мошенником. И программа с вами согласится. Однако, если помимо прочего, вы будете еще и 30-40-летней женщиной с ребенком, (пускай уже и не живущим с вами), которая, к тому же, еще и плохо знает немецкий, имеет несколько татуировок — ждите судебных разбирательств, которые поведут за собой проблемы не на один месяц, ведь все эти параметры повышают вероятность того, что сеть распознает вас как мошенника. [Мэтт Берджесс, Эвалайн Шот И Габриэль Гейгер, 2023]
Но что, если попробовать отойти от личностных качеств человека, которые, как мы поняли, машине просчитать крайне сложно? Давайте перейдем к тому, что действительно можно посчитать на основе сухих данных. К красоте.
Хоть красота — понятие субъективное, однако мы, люди, все равно стараемся выводить ее формулы. Симметричность лица, уровень и размер глаз, расстояние от лба до… Факторов много, и все они сходятся к некому усредненному «правильному» понятию. И как раз подобные данные, казалось-бы, можно занести. И будет алгоритм, который сможет проводить эти конкурсы красоты полностью объективно, без багажа личного опыта за спиной. Так то оно так, но будь все так просто, мы бы не упоминали этот случай. Если сейчас уже мы можем условно (!) точно поставить задачу перед нейросетью, т. е. ввести параметры, по которым она будет оценивать фотографии, то в данном случае была проблема со сбором данных. В далеком 2016, при проведении данного, казалось бы, беспроигрышного эксперимента, «Из 44 победительниц почти все были белыми, горстка была азиаткой, и только у одной была темная кожа. И это несмотря на то, что, хотя большинство конкурсанток были белыми, многие цветные люди прислали фотографии, в том числе большие группы из Индии и Африки.». [Сэм Левин, 2016]
Beauty.AI, победительницы конкурса красоты, 2016
Проблема здесь крылась не в неправильно введенных данных для нейросети, а в самостоятельной работе нейросети с ними. Из-за того, что большая часть примеров, на которых училась модель, были белыми женщинами, нейросеть приобрела свой собственный биас, выведя фактор «белой кожи» как один из факторов, приближающих конкурсантку к победе.
Результаты неутешительны. Помимо прочего, хочется обратить внимание на еще одно экспериментальное исследование, близкое к теме нашей последней беседы.
Beauty.AI, победительницы конкурса красоты, 2016
Вряд ли есть человек в этом мире, который не слышал про физиогномику — псевдо науку, основателем которой был Чезаре Ломброзо. Однако, на всякий случай, я все же спешу пояснить термин, казалось бы, не относящийся к нашей теме. Физиогномика — это учение о том, как черты лица связаны с характером человека. Ломброзо считал, что черты лица и телосложение могут отражать внутренние качества и свойства человека. Чезаре Ломброзо пытался использовать физиогномику для выявления признаков преступности у людей на основе их внешности. Он считал, что черты лица могут свидетельствовать о склонности к преступным действиям.
Однако он не вел никаких статистических анализов собираемым им данным, что, впоследствии, и послужило крахом его теории.
Чезаре Ломборзо, женские лица, склонные к преступлениям, 1876
Помимо Ломборзо «усреднением личности» занимался и еще один человек — Фрэнсис Гальтон.
Одним из важных достижений Гальтона было развитие концепции композитных фотографий. Он обратил внимание на то, что использование статистических методов может помочь в изучении человеческих черт и природы. Он предполагал, что если собрать фотографии множества лиц, являющихся представителями определенной группы, можно создать композитное изображение, которое будет представлять среднюю черту этой группы.
Гальтон провел эксперименты, в которых собирал фотографии людей с похожими характеристиками, например, их профессионального статуса или этнической принадлежности. Затем он создавал композитное изображение, которое было наиболее типичным для данной группы.
Фрэнсис Гальтон, составной портрет, 1879
Композитные фотографии, созданные Гальтоном, представляли собой своеобразный «средний» образ, объединяющий черты различных людей. Он считал, что такие композиты могут помочь в исследовании унаследованных черт и выявлении общих особенностей разных групп людей. Это был основополагающий вклад Гальтона в антропологию.
Несмотря на некоторые ограничения использования композитных фотографий, идея Гальтона оказала значительное влияние на развитие антропологии и зрительной антропометрии (изучение морфологических черт человека). Его работы проложили путь для использования статистических методов в антропологии и помогли развить концепцию среднего лица, которая впоследствии нашла применение в других областях, таких как правоохранительные органы и психология
Фрэнсис Гальтон, составной портрет, 1879
Уже первые созданные Ф. Гальтоном обобщенные фотопортреты дали интересные результаты. Он пишет «Можно видеть, что внешность обобщенных изображений значительно лучше, чем у составляющих его компонентов». Особенно интересно было для Ф. Гальона то, что в обобщенном портрете преступников, осужденных за особо тяжкие преступления, «специфически преступные особенности последних исчезли, и преимущественно проявились обычные человеческие черты…» Портрет представляет собой «.....не преступника, а человека, который имеет склонность к преступлению» [Гальтон Фрэнсис, 1878, с. 78]. Сколько было разговоров и существует мнений даже сейчас о наличие «преступного типа». Ф. Гальон его не обнаружил. Не обнаружилось и заметной корреляции между особенностями лица и психикой.
Сяолинь Ву, Си Чжан, преступники (сверху) и не-преступники (снизу) 2016
Несмотря на это, в 2011 году Корнуэльский институт провел исследование, в котором выяснилось, что люди в большинстве случаев могут отличить законопослушных граждан от преступников, руководствуясь лишь фотографиями. «В то время как многие направления исследований быстрого и точного социального познания, казалось, избежали давнего клейма, связанного с рассмотренными выше евгеникой и социальным дарвинизмом — ярким примером является исследовательская парадигма „тонкого среза“, — точность выводов, основанных на внешнем виде, все еще несет на себе наследие этого клейма, поскольку ее продолжают группировать с другими архаичными морфологическими подходами, такими как физиогномика, краниометрия и френология» [Валла, Дж. М., Сеси, С. Дж., & Уильямс, У. М., 2011, с. 68] Исследование говорит, что на основе фотографий человек может сделать вывод о интеллекте человека с фото, ориентации, преступности.
Но феномен «преступного лица» представляет для нас и для исследователей наибольший интерес. Эмпирические данные говорят о том, что во время тестов люди были склонны выбирать «типовые» лица для разных видов преступлений.
«Участники смогли отличить преступников от не-преступников только на основе статичных изображений лиц, учитывающих расу, возраст, растительность и отметины на лице, привлекательность или любые другие очевидные показатели криминального статуса.» [Валла, Дж. М., Сеси, С. Дж., & Уильямс, У. М., 2011, с. 79]
Подобный эксперемент говорит о том, что, возможно, есть некая вероятность отследить некую последовательность, о которой и говорил Ломборзо. Что будет, если загрузить массив данных с лицами преступников и не-преступников в нейросеть?
Сяолинь Ву и Си Чжан из Шанхайского университета транспорта в 2016 году решили проверить, что из этого выйдет. И, к неожиданности многих, нейросеть не опровергла результаты исследования Ломборзо и Корнуэльского института, а доказала их работоспособность.
Обучаясь на основе 1856 фотографий мужчин в возрасте от 18 до 55 лет. Половина из них — преступники. Затем ученые взяли 90% от всех фотографий и научили ИИ распознавать разницу. Оставшиеся 10% изображений ушли на тесты.
И, по завершении тестов, оказалось, что нейросеть способна верно распознать преступника в более чем 89% случая. [Сяолинь Ву, Си Чжан, 2016, с. 6]
Сяолинь Ву, Си Чжан, сверху — «средние» лица преступников и не преступников, полученные путем усреднения лиц; снизу — «средние» лица преступников и не преступников, 2016
Нейросеть выделила три дискриминирующих признака, по которым опознавала преступника на фотографии — изгиб верхней губы, расстояние между двумя внутренними углами глаз, и угол, образованный лучами от кончика носа до двух углов рта. [Сяолинь Ву, Си Чжан, 2016, с. 11]
Помимо прочего, в результате исследования был обнаружен «закон нормальности» для неприступных лиц — это значит, что люди не-преступники различаются между собой больше, чем различаются между собой люди-преступники «Несмотря на то, что преступники составляют незначительное меньшинство в общей численности населения, они имеют заметно большие различия во внешнем облике, чем обычные люди. Это связано с тем, что все законопослушные граждане обладают многими общими социальными признаками, в то время как преступники, как правило, имеют очень разные характеристики и обстоятельства, некоторые из которых являются совершенно уникальными для данного человека.» [Сяолинь Ву, Си Чжан, 2016, с. 17]
Естественно, исследование вызвало волну негодования, и далее «исследования» оно не продвинулось. Тому было много причин, но самые заметные — некорректность (оценивание внешних качеств и взятие их в основу для формирования мнения о возможном криминалитете лица), и, конечно, недостаток данных для обучения, что подчеркивают авторы статьи.
Помимо формальных аспектов, хочется коснуться и некой художественности и о том, как эта тема могла бы быть развита в формате искусства.
Концепция художественного проекта: «Голос среди алгоритмов»
Основываясь на проработанных статьях об искусственном интеллекте и его влиянии на наше восприятие информации, мой художественный проект мог бы быть представлен в формате интерактивной выставки.
Для основы будет взята нейросеть, разделяющая людей на преступников и не-преступников, обученная на китайской, не адаптированной под европеоидов базе. Таким образом мы сможем осветить проблему возникновения биаса.
Инсталляция: Центральной частью выставки будет главная инсталляция, представляющая собой большой экран, на котором будут отображаться «диалоги» между посетителями и искусственным интеллектом. Это создаст атмосферу активного взаимодействия и позволит посетителям лично ощутить влияние искусственного интеллекта на себя. Монитор, с помощью установленной на него камеры, будет транслировать происходящее перед собой. Любой желающий зритель сможет, при желании, подойти и попросить информацию о себе на основе подготовленной базе данных внутри системы. С помощью анализа лица зрителя компьютер просчитывает, насколько тот или иной зритель предположительно склонен совершать преступления, тем самым записывая зрителей в преступники и не-преступники. После того, как зритель будет определен в одну из категорий, ему будет предложено согласиться или не согласиться с итоговым результатом.
Инсталяция № 2: В углах выставки будут расположены проекции, демонстрирующие текстовую запись общения искусственного интеллекта с человеком. Это текст-история развития нейросети на основе общения с пользователями, посетителями выставки. Чем больше нейросеть общается со зрителями, и чем больше будет тех недовольных, что попали под категорию «преступник», тем меньше людей нейросеть начнет выделять в эту категорию. Чем дольше будет стоять эта инсталляция, тем меньше «преступников» будет находиться.
Содержательные и формальные решения:
1. Рефлексия: В рамках проекта я хочу помочь посетителям осознать, что любой из нас может быть жертвой неверной трактовки информации искусственным интеллектом, и важно обращать внимание на данные, которую им предоставляет искусственный интеллект.
2. Интерактивность: Одной из ключевых особенностей моего проекта будет возможность взаимодействия посетителей с искусственным интеллектом, соглашаться с ним или протестовать ему. Через такой интерактивный опыт посетители смогут лучше понять, как алгоритм учитывает их предпочтения и как это может влиять на объективность информации, которую он предоставляет.
Один из важных аспектов проекта — показать, что искусственный интеллект не является непогрешимым и объективным судьей. Он основан на данных и алгоритмах, которые не всегда отражают все многообразие и сложность человеческого опыта. Часто искусственный интеллект может быть склонен к субъективным оценкам и предвзятости, что может приводить к неправильному анализу и интерпретации информации.
В своем проекте я хочу вызывать у зрителей вопросы и размышления о том, насколько мы должны полагаться на искусственный интеллект в принятии решений, особенно в сферах, связанных с этикой и правосудием. Как социум, мы должны активно анализировать и общаться с искусственным интеллектом, а не слепо следовать его рекомендациям. Важно сохранить нашу способность критически мыслить и принимать решения на основе наших собственных ценностей и этических принципов.
Проект представляет собой попытку разобраться в сложностях и противоречиях использования искусственного интеллекта в современном обществе. Я призываю зрителей задуматься о том, как мы можем справиться с вызовами, связанными с развитием искусственного интеллекта, и как можно максимально использовать его потенциал во благо общества. В конечном счете, мой проект направлен на то, чтобы стимулировать диалог и обмен идеями, чтобы у нас была возможность создать более справедливое и этичное будущее, где голос каждого человека будет услышан и уважен, независимо от того, насколько развит искусственный интеллект.
Вывод
Можно сделать вывод о влиянии биасов нейронных сетей на нашу повседневную жизнь. Понимание принципов возникновения и распространения биасов в нейросетях играет ключевую роль в обеспечении их эффективной и этичной работы.
Биас может приводить к неэтичным решениям, а его возникновение может быть обусловлено различными разобранными нами факторами. Некорректная постановка задачи, сбор и подготовка данных — все эти аспекты могут способствовать возникновению биасов в работе нейросетей. Однако, не менее важно учитывать, что биасы могут возникать и из-за субъективных предпочтений и мнений людей, заложенных в обучающие данные, и затем отраженных в работе нейросетей.
Этот аспект подчеркивает важность тщательного анализа и обработки данных, а также постоянного внимания к этическим и социальным вопросам в сфере разработки и применения нейронных сетей.
Таким образом, обеспечение нейронных сетей свободой от биасов и предвзятости является важным направлением для развития технологий и обеспечения их социально-этической приемлемости.
Валла, Дж. М., Сеси, С. Дж., & Уильямс, У. М., THE ACCURACY OF INFERENCES ABOUT CRIMINALITY BASED ON FACIAL APPEARANCE, 2011 // Journal of Social, Evolutionary, and Cultural Psychology // URL: https://psycnet.apa.org/fulltext/2011-14970-005.html (дата обращения: 10.10.2023)
Гальтон Фрэнсис, Композиционные портреты // Nature. Май 1878. XVIII. с. 78-100.
Ева Константарас, Габриэль Гейгер, Джастин-казимир Браун, Дхрув Мехротра, Хтет Аунг, Inside the Suspicion Machine, 07.03.2023 // wired // URL: https://www.wired.com/story/welfare-state-algorithms/ (дата обращения: 10.10.2023)
Карен Хао, This is how AI bias really happens—and why it’s so hard to fix // Technology Review. 04.02.2019. URL: https://www.technologyreview.com/2019/02/04/137602/this-is-how-ai-bias-really-happensand-why-its-so-hard-to-fix/ (дата обращения: 10.10.2023)
Миринак Шарма, Towards Understanding Sycophancy in Language Models // arXiv URL: https://arxiv.org/pdf/2310.13548.pdf (дата обращения: 11.10.2023)
Мэтт Берджесс, Эвалайн Шот, Габриэль Гейгер, This Algorithm Could Ruin Your Life, 06.03.2023 // wired // URL: https://www.wired.com/story/welfare-algorithms-discrimination/?cndid=72591142&esrc=VERSO_NAVIGATION&source=EDT_WIR_NEWSLETTER_0_DAILY_ZZ&mbid=mbid%3DCRMWIR012019%0A%0A (дата обращения: 10.10.2023)
Нильс Кловайт и Мария Ерофеева, Работа в эпоху разумных машин: зарождение невидимой автоматизации // cyberleninka. URL: https://cyberleninka.ru/article/n/rabota-v-epohu-razumnyh-mashin-zarozhdenie-nevidimoy-avtomatizatsii (дата обращения: 11.10.2023)
Сэм Левин, Artificial intelligence beauty contest doesn’t like black people, 08.09.2016 // The Guardian // URL: https://www.theguardian.com/technology/2016/sep/08/artificial-intelligence-beauty-contest-doesnt-like-black-people (дата обращения: 10.10.2023)
Сяолинь Ву, Си Чжан, Automated Inference on Criminality using Face Images, 2016, // arXiv // URL: https://arxiv.org/pdf/1611.04135.pdf (дата обращения: 10.10.2023)
Обложка: личная генерация Midjorney
Статистические данные из работы Миринак Шарма, «К пониманию подхалимства в языковых моделях», https://arxiv.org/pdf/2310.13548.pdf
Победительницы конкурса красоты, https://www.businessinsider.com/beauty-contest-judged-by-ai-winners-2016-8
Фотографии составных портретов Френсиса Гальтона https://galton.org/composite.htm
Сяолинь Ву, Си Чжан, средние лица преступников и не-преступников https://arxiv.org/pdf/1611.04135.pdf
