Необъективно или не объективно: необъективно — Викисловарь

‘.. даже после наблюдения частого или постоянного соединения объектов у нас нет никаких оснований делать какие-либо выводы относительно любого объекта, кроме тех, с которыми мы сталкивались ”- Юм, трактат человеческой природы

Мирей Хильдебрандт, юрист и философ, работающий на стыке юриспруденции и технологий, много писала и много говорила о проблеме предвзятости и справедливости в алгоритмах машинного обучения.В следующей статье об автоматическом машинном обучении без учета предвзятости (Hildebrandt, 2019) она утверждает, что машинного обучения без предвзятости не существует и что продуктивный уклон необходим для алгоритма, позволяющего моделировать данные и делать соответствующие прогнозы. Три основных типа смещения, которые могут возникнуть в прогностической системе, могут быть изложены следующим образом:

· Смещение, присущее любой системе восприятия действий (продуктивное смещение)

· Смещение, которое некоторые квалифицируют как несправедливое

· Смещение, которое различает На основании запрещенных правовых основ

Эффективность в машинном обучении достигается за счет минимизации функции стоимости.Выбор функции стоимости и, следовательно, пространства поиска и возможных значений минимума вводит то, что мы называем продуктивным смещением в систему. Другие источники продуктивной предвзятости исходят из контекста, цели, наличия адекватных данных обучения и испытаний, используемого метода оптимизации, а также из компромиссов между скоростью, точностью, переоснащением и переобобщением, каждый выбор связан с соответствующей стоимостью. Таким образом, предположение о том, что машинное обучение свободно от смещения, является ложным, поскольку смещение является фундаментальным свойством систем индуктивного обучения.Кроме того, данные обучения также обязательно смещены, и функция дизайна исследования состоит в том, чтобы отделить смещение, которое аппроксимирует образец в данных, которые мы устанавливаем, чтобы обнаружить смещение, которое является дискриминационным или просто вычислительным артефактом.

Смещение в машинном обучении определяется как феномен наблюдения результатов, которые систематически предвзяты из-за ошибочных предположений. Однако, без предположений, алгоритм не будет иметь лучшую производительность для задачи, чем если бы результат был выбран случайным образом, принцип, который был формализован Wolpert в 1996 году в то, что мы называем теоремой без бесплатного обеда.

Согласно «Теореме об отсутствии бесплатного обеда» (Macready, 1997) все классификаторы имеют одинаковую частоту ошибок при усреднении по всем возможным распределениям, генерирующим данные. Следовательно, определенный классификатор должен иметь определенный уклон к определенным распределениям и функциям, чтобы лучше моделировать эти распределения, что в то же время ухудшит его при моделировании других типов распределений.

Рисунок 1. Описание теоремы об отсутствии бесплатного обеда, где повышение производительности при решении проблемы определенного типа приводит к потере общности (Fedden, 2017).

Следует также всегда помнить, что данные, используемые для обучения алгоритма, конечно, и, следовательно, не отражает реальность.Это также приводит к смещению, которое возникает в результате выбора данных обучения и тестирования и их представления о реальной популяции. Другое предположение, которое мы делаем, заключается в предположении, что данные ограниченного обучения способны моделировать и точно классифицировать данные испытаний.

«[…] Самая современная теория машинного обучения опирается на решающее предположение, что распределение обучающих примеров идентично распределению тестовых примеров. Несмотря на нашу необходимость сделать это предположение для получения теоретических результатов, важно иметь в виду, что это предположение часто должно нарушаться на практике.«
— Тим Митчелл

Даже если нам удастся избавить наши системы от вышеупомянутых смещений, все еще существует вероятность того, что смещение будет проскальзывать со временем: как только алгоритмы обучены, работают хорошо и запускаются в работу, как это происходит? обновленный алгоритм: кто определяет, хорошо ли работает система два года спустя, и кто определяет, что значит для системы успешность?

Знание различных смещений, присутствующих в этих системах, требует способности объяснять и интерпретировать, как они работают, повторяя тему прозрачности выступления Адриана Веллера: если вы не можете проверить это, вы не можете оспорить его.Нам необходимо четко понимать смещение производительности, которое обеспечивает функциональность этих систем, и выяснять остающуюся несправедливость в обучающем наборе или алгоритмах. Это позволило бы нам сделать вывод о третьем и наиболее серьезном уклоне, который приводит к дискриминации по запрещенным правовым основаниям.

Кришна Гуммади, руководитель исследовательской группы по сетевым системам в Институте программных систем Макса Планка, много работал над уменьшением дискриминационного смещения в классификаторах, и его исследования в этой области касаются дискриминации с вычислительной точки зрения и развивают алгоритмические методы для минимизации Это.

Поскольку системы машинного обучения становятся все более распространенными в автоматизированном процессе принятия решений, крайне важно, чтобы мы сделали эти системы чувствительными к типу систематической ошибки, которая приводит к дискриминации, особенно дискриминации по незаконным мотивам. Машинное обучение уже используется для принятия или содействия принятию решений в следующих областях: Рекрутинг (отбор кандидатов на работу), Банковское дело (Кредитные рейтинги / Утверждение кредита), Судебная система (Оценка риска рецидивизма), Благосостояние (Право на получение пособия по социальному обеспечению), Журналистика (Рекомендатель новостей Системы) и т. Д.Учитывая масштабы и влияние этих отраслей, крайне важно, чтобы мы приняли меры по предотвращению несправедливой дискриминации в них с помощью как правовых, так и технических средств.

Для того, чтобы проиллюстрировать свои методы, Кришно Gummadi сфокусировано на спорном инструменте прогнозирования рецидиве называется КОМПАСОМ, разработанный Northpointe Inc, выход которого используется по всей территории Соединенных Штатов судей в досудебном и вынесении приговора. Алгоритм основан на ответах на анкету из 137 предметов, в которой представлены вопросы об их семейной истории, жилом районе, школьной успеваемости и т. Д.прогнозировать их риск совершения преступлений в будущем.

Результат алгоритма использовался судьями для определения длины и типа предложения при рассмотрении отношения ввода-вывода как черного ящика. В то время как некоторые исследования показали, что COMPAS (профилирование управления исправительными правонарушениями для альтернативных санкций) не лучше предсказывает риск рецидивизма, чем случайно набираемые интернет-незнакомцы, другие исследования больше фокусировались на тестировании алгоритмов лечения различных значимых социальных групп.

Рисунок 2: Исследование, проведенное Propublica, которое обнаруживает дискриминацию по скорости, с которой алгоритм неправильно классифицирует защитников, не имеющих реффендинга, с разными показателями для черных и белых.

Исследование, проведенное ProPublica (Джефф Ларсон, 2016), показало, что алгоритм был в два раза вероятнее обозначить чернокожих защитников как группу высокого риска, которая в конечном итоге не рецидивировала по сравнению с белыми защитниками. Это дается ложным положительным показателем (процент FP) черных обвиняемых, который составляет 44,85 (то есть 44,85 процента черных обвиняемых, классифицированных как рецидив, не повторно совершали преступления) по сравнению с 23.45 для белых подсудимых. Тем не менее, Northpointe пришла с опровержением того, что в соответствии с мерами, которые они использовали, у черных и белых защитников был одинаковый уровень ошибочной классификации.

Рисунок 3: Опровержение Northpointe о том, что их оценка по 10-балльной шкале правильно классифицировала черных или белых с одинаковыми показателями.

Оказывается, что обе стороны правы, и это потому, что они используют разные меры для справедливости. И не существует алгоритма, который мог бы одинаково хорошо работать по обоим показателям справедливости, если базовые показатели рецидивизма различаются для черных и белых.Обе эти меры справедливости представляют собой неотъемлемые компромиссы.

Мы должны уметь понимать компромиссы этих мер справедливости, чтобы принимать обоснованные решения относительно их дискриминационной способности. Вот почему нам нужна вычислительная перспектива. Итак, давайте сначала поймем, что представляет собой дискриминация с этой точки зрения.

Используемое нормативное определение:

неправомерно налагает относительный недостаток на лиц на основании их членство в примерно существенной социальной группе ,г., раса или пол

Как нам реализовать это определение и реализовать его в алгоритме? Вышеприведенное выражение содержит несколько нечетких понятий, которые требуют формализации, «относительного невыгодности», «неправомерного навязывания», «заметной социальной группы» и т. Д. Если мы сосредоточимся только на компоненте «относительного недостатка», мы восстановим первый тип дискриминации, который может происходят в алгоритме, что Отдельное лечение.

Рисунок 4: Пример проблемы бинарной классификации, когда алгоритм узнает, будет ли погашен заем, на основе признаков m + 1, из которых z является чувствительным признаком

Кришна использовал вышеупомянутую проблему бинарной классификации, чтобы лучше понять различные типы дискриминации ,Проблема состоит в том, чтобы предсказать, будет ли погашен заем, основываясь на функциях m + 1, из которых одна особенность является чувствительной, например, раса клиента.

Отдельная обработка:

Этот тип относительной дискриминации можно обнаружить, если прогнозируемый результат пользователя изменяется при изменении чувствительной функции. В приведенном выше примере это будет означать алгоритм, прогнозирующий положительную метку для возврата займа для белого человека и отрицательную для черного человека, даже если все остальные функции точно такие же.Чтобы предотвратить какую-либо зависимость от расы, нам нужно удалить чувствительные элементы из набора данных

. Мы можем формализовать это следующим образом:

, т. Е. Вероятность P выхода не должна зависеть от выходных значений

или изменить их:

Этот тип относительной дискриминации может быть обнаружен, если есть разница в доле положительных (отрицательных) результатов для разных чувствительных групп. В вышеупомянутом случае это произошло бы, если бы больший процент чернокожих был классифицирован как неплательщики по сравнению с белыми людьми

Мы формализуем это требование следующим образом:

, т. Е. Вероятность положительной метки (возврата кредитов) для z = 1 (белые клиенты) равна вероятности положительной метки для z = 0 (черные клиенты).

Отдельное воздействие измеряет уровень косвенной дискриминации по отношению к группе и часто наблюдается и при принятии решений человеком. Даже если мы удалим разрозненную обработку, удалив чувствительную функцию, дискриминация все же может произойти с помощью других связанных функций, таких как почтовый индекс.Измерение и исправление несопоставимого воздействия гарантирует, что это исправлено. Это требование следует использовать, когда набор данных для обучения смещен. В то время рассматривается противоречивая мера многими, в частности, теми критиками, которые держат, что некоторые сценарии не могут быть освобождены от несоразмерных результатов.

Отдельное плохое обращение:

Этот тип относительной дискриминации обнаруживается, когда мы измеряем разницу в доле точных результатов для разных чувствительных групп.Это тот тип дискриминации, который был обнаружен Propublica в алгоритме Northpointe, который неправильно классифицировал ни в чем не повинных чернокожих защитников как рецидив в два раза чаще, чем белых людей. Мы можем исправить это плохое обращение, требуя одинаковых пропорций точных результатов для всех чувствительных групп.

Мы формализуем это требование следующим образом:

Где z = 0,1 представляют различные чувствительные группы.

Прежде чем формализовать механизмы для исправления дискриминации в алгоритмах, мы должны принять во внимание тот факт, что алгоритмы не являются беспристрастными, как это происходит в нарративе.Алгоритмы объективны по сравнению с людьми, но это не делает их справедливыми, а делает их объективно дискриминационными. Задача алгоритма — оптимизировать функцию стоимости, чтобы достичь наилучшего приближения фактической функции, которая генерирует результат, который мы хотим предсказать. Если лучшая функция — это функция, которая классифицирует всех членов группы, находящейся в невыгодном положении, как повторное правонарушение или неспособность выплатить кредит, это то, что алгоритм выберет. Следовательно, объективные решения могут быть несправедливыми и дискриминационными.

Проще говоря, алгоритмы изучают модель для вывода, аппроксимируя функцию, которая принимает функции в качестве входных данных и аппроксимирует выходные данные. Он определяет лучшие параметры для этой функции, основываясь на том, какие из них сводят к минимуму разницу между выходами функции и фактическими результатами. Это называется проблемой оптимизации. Мы можем добавить дополнительные ограничения к этой проблеме, требуя, чтобы аппроксимируемая функция также подчинялась одному или всем сформулированным выше требованиям, чтобы избежать дискриминации.То есть:

, для которого требуется модель, аппроксимируется таким образом, чтобы показатели точности для всех чувствительных групп были одинаковыми. Однако добавление ограничений приводит к компромиссу, относительно справедливому алгоритму за счет некоторой точности. Кришна применил это ограничение к алгоритму прогнозирования рецидивизма, и ценой небольшой точности удалось получить алгоритм, который имеет подобный уровень ошибок для черно-белых обвиняемых. Он использовал ограничения на ложную положительную ставку (FPR), которая является вероятностью того, что невинный ответчик классифицирован как рецидивист, и ложной отрицательной ставкой (FNR), которая является вероятностью того, что будущий обвиняемый в повторном правонарушении классифицируется как невозобновляемый.Как мы видим на рисунке 8, разница в FPR и FNR черно-белых обвиняемых приближается к 0, поскольку ограничения ужесточаются с небольшой потерей точности (от ~ 66,7% до ~ 65,8%).

Рисунок 5. Исправление отдельного плохого обращения для набора данных прогнозирования рецидивизма.

Короче говоря, несмотря на опасения, что алгоритмы будут служить только для дальнейшего закрепления и распространения человеческих предубеждений, сообщество ИИ предпринимает значительные усилия, чтобы избежать и исправить дискриминационные отклонения в алгоритмах, а также сделать их более прозрачными.Кроме того, появление GDPR формализует и структурирует эти усилия, чтобы удостовериться, что отрасли получают стимул следовать передовой практике, когда речь идет о хранении и обработке огромного количества персональных данных граждан, и расставлять приоритеты справедливости за счет некоторой точности. В конечном счете, алгоритмические системы будут отражением общества, которое они пытаются моделировать и аппроксимировать, и потребуются активные усилия со стороны правительства и частного сектора, чтобы убедиться, что оно работает не только для того, чтобы укрепить и еще более усугубить неравенство, присущее наши структуры, но исправьте их, введя строгие меры и ограничения, которые оштрафуют его.Это позволяет нам представить общество, в котором процесс принятия решений может быть потенциально избавлен от субъективности человеческого предубеждения путем замены его объективными алгоритмическими решениями, который осознает свои предубеждения, если не полностью свободен от них.

Ансаро. (2017, 12 октября). Получено с https://medium.com/ansaro-blog/interpreting-machine-learning-models-1234d735d6c9

Fedden, L. (2017). Получено из Medium Inc .: https://medium.com/@LeonFedden/the-no-free-lunch-theorem-62ae2c3ed10c

Хильдебрандт, M.(2019). Конфиденциальность как защита неисчислимого Я: от агностика к агонистическому машинному обучению. (стр. 19 (1)). Предстоящие теоретические исследования в области права.

Джефф Ларсон, С. М. (2016, май). Получено из ProPublica: https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

Кевин Эйхолт, И. Э. (2018). Надежные атаки физического мира на визуальную классификацию с глубоким обучением. CVPR. ,

,

, Langer, E.B. (1978). Бессмысленность якобы вдумчивого действия: роль «плацебической» информации в межличностном взаимодействии. Журнал личности и социальной психологии, 36 (6) , 635–642.

Macready, D.H. (1997). Нет бесплатных теорем об обеде для оптимизации. IEEE СДЕЛКИ НА ЭВОЛЮЦИОННЫХ ВЫЧИСЛЕНИЯХ, Том 1 , №1.

Marco Tulio Ribeiro, S.S. (2016). «Почему я должен вам доверять?»: Объяснение предсказаний любого классификатора. Материалы 22-й Международной конференции ACM SIGKDD по обнаружению знаний и добыче данных (стр. 1135–1144). ACM.

MIT Новости.(2018 г., 11 февраля). Получено с http://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212

Открытый блог AI. (2017, 24 февраля). Получено с https://blog.openai.com/adversarial-example-research/

Rich Caruana et al. (Н.о.). ‘Интеллектуальные модели для HealthCare: прогнозирование риска развития пневмонии и госпитализация в течение 30 дней. Материалы 21-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных , (стр. 1721–1730).Нью-Йорк, США.

Wired Inc. (2018, 29 марта). Как кодеры борются с предвзятостью в программном обеспечении распознавания лиц . Получено с https://www.wired.com/story/how-coders-are-fighting-bias-in-facial-recognition-software/

.