Искусственный интеллект меняет наш мир, и финансовые услуги не являются исключением. ИИ меняет сектор частного банковского обслуживания, но как он в настоящее время обстоит с гендерным паритетом, прозрачностью и справедливостью?
Когда кто-то сегодня подает заявку на получение кредита, возрастает вероятность того, что никто никогда не прочитает его заявку. Алгоритм, основанный на данных, решает, соответствуют ли они критериям, какую сумму они могут занять и насколько рискованными они считаются, часто за считанные секунды и без объяснения причин, незаметно формируя финансовые возможности так, как большинство людей никогда не видят, но чувствуют в своей повседневной жизни.
Эти системы обычно представляются как нейтральные инструменты:более быстрые, чем люди, более последовательные, менее склонные к предрассудкам.
В секторе, который долгое время критиковали за непрозрачность и предвзятость, это обещание привлекательно и часто повторяется в отраслевых и политических дебатах. Но это обещание основано на хрупком предположении, которое редко высказывается явно, о том, что данные, на которых учатся эти системы, в равной степени отражают жизнь каждого человека.
В недавнем отчете Агентства ЕС по основным правам, основанном на полевых исследованиях в пяти государствах-членах, было рассмотрено, как системы искусственного интеллекта высокого риска регулируются Законом ЕС об искусственном интеллекте в таких областях, как занятость, общественные блага и правоохранительная деятельность. Он обнаружил поразительный разрыв между правовыми амбициями и практикой:хотя риски дискриминации широко признаны, поставщикам и исполнителям часто не хватает инструментов, опыта и рекомендаций для их систематической оценки. Самооценки, как правило, непоследовательны, а надзор остается слабым.
Это важный вопрос. Когда данные, питающие эти системы, не могут отразить реальность финансовой жизни женщин с той же глубиной и точностью, что и мужчины, результатом становится не просто технический недостаток, а структурное искажение, которое определяет, кто получает доступ к кредитам, на каких условиях и с какими долгосрочными последствиями. Чтобы финансы, основанные на искусственном интеллекте, были справедливыми, женщины должны сначала быть «видимыми» в данных, на которых основаны эти системы.
Алгоритмы не оценивают справедливость и не задаются вопросом, имеет ли результат смысл, а оценивают, что с наибольшей вероятностью будет правильным, на основе предоставленных им данных, рисуя закономерности и проецируя их вперед. Когда данные неполны или искажены, выводы системы с самого начала основываются на шатких предположениях.
Если женщины недостаточно представлены, плохо измеряются или никогда не анализируются отдельно от мужчин, система не может увидеть неравные результаты, а то, что она не видит, она не может исправить. Предвзятость просто переносится и становится рутиной.
Эту динамику легко упустить из виду, когда дискуссии остаются на уровне моделей и регулирования, но ее последствия становятся очевидными, как только автоматизированные системы наблюдаются на практике. Данные в разных странах показывают, как быстро неравенство может быть встроено в алгоритмические решения не потому, что системы созданы для дискриминации, а потому, что они точно воспроизводят искажения, уже присутствующие в данных, на которых они учатся.
Кения представляет собой яркий пример. Согласно опубликованным исследованиям, широко используемый алгоритм цифрового кредитования постоянно предлагал женщинам меньшие кредиты, чем мужчинам, в некоторых случаях более чем на треть, несмотря на более высокие показатели погашения. Система не выделяла женщин намеренно:она просто извлекла уроки из данных, сформированных давним социальным и экономическим неравенством, а затем применила эти закономерности в масштабе.
В этом примере важна не сама Кения, а то, что этот случай делает видимым. Алгоритм делал именно то, для чего он был разработан, изучая прошлое поведение и последовательно применяя эти модели, однако без возможности различать результаты для женщин и мужчин не было возможности обнаружить, что неравенство воспроизводится в реальном времени. Проблема была не в автоматизации, а в слепоте.
Именно здесь данные с разбивкой по полу становятся важными. Сортируя финансовые данные по полу, регулирующие органы, финансовые учреждения и разработчики технологий могут выявить влияние автоматизированных систем, определить, кто имеет доступ к финансам, и определить области, где результаты начинают расходиться. Без такой видимости гендерные различия остаются скрытыми, а скрытые различия имеют обыкновение становиться постоянными. В сфере цифровых финансов данные – это «лучший друг девушки», но не как лозунг, а как практическое условие подотчетности.
Большинство финансовых учреждений уже записывают пол клиента как часть базовой идентификации. На бумаге информация присутствует, она включена в рутинные отчеты и основные записи о клиентах. Однако на практике запись переменной — это не то же самое, что ее использование. Во многих странах пол клиента указывается в базах данных, но никогда не анализируется, не сообщается и не контролируется надзорными органами, в том числе в основных системах надзора, таких как пруденциальная отчетность. Слишком часто данные уже существуют, но они собираются, сохраняются, а затем незаметно игнорируются. Проблема не в том, что можно сделать, а в том, что делается.
Картина выглядит совсем иначе в странах, которые, как часто полагают, имеют меньше ресурсов. В некоторых частях Латинской Америки и Африки регулирующие органы уже много лет требуют отчетности с разбивкой по полу и регулярно публикуют данные о гендерном разрыве в сфере финансов.
В Чили финансовые власти отслеживают гендерные различия в кредитах и депозитах на протяжении более двух десятилетий, регулярно публикуя финансовую статистику с разбивкой по полу.
В Мексике регулирующие органы объединяют банковские данные с национальными опросами домохозяйств, чтобы понять, как женщины и мужчины используют финансовые услуги и как они себя ведут в качестве заемщиков.
Эта видимость имела практические последствия. В Мексике данные надзорных органов показали, что женские кредиты были меньшими, но менее рискованными, что послужило основой для изменений в правилах создания резервов на возможные потери по кредитам.
В Чили данные показали, что равный доступ к счетам не привел к равным результатам в области сбережений или страхования, что побудило к более целенаправленным политическим мерам. Как только эти пробелы стали заметны, их стало гораздо труднее игнорировать.
С этой точки зрения ситуация во многих странах с высоким уровнем дохода выглядит не столько как техническое отставание, сколько как институциональное колебание. В большей части Европы гендерные данные остаются добровольными или фрагментарными, несмотря на развитую инфраструктуру данных, что является недостатком не технических возможностей, а институционального выбора. Этому посвящена моя предстоящая аналитическая статья «Данные — лучшие друзья девушек:борьба с цифровым финансовым неравенством с помощью данных с разбивкой по полу», которая будет опубликована в мае.
Поскольку искусственный интеллект все глубже внедряется в процесс принятия финансовых решений, этот выбор становится все труднее защищать. В то время как Европа реализует Закон ЕС об искусственном интеллекте и обсуждает, как регулировать алгоритмическое принятие решений в сфере финансов, отсутствие систематических гендерных данных поднимает основной вопрос:как можно контролировать справедливость, если данные, необходимые для выявления неравенства, никогда не анализируются?
Делать женщин видимыми в данных не символично. Без этого справедливое финансирование будет не чем иным, как требованием.
Еженедельное электронное письмо на английском языке, в котором представлены экспертные знания ученых и исследователей. Он знакомит с разнообразием исследований, проводимых на континенте, и рассматривает некоторые ключевые проблемы, стоящие перед европейскими странами. Получайте информационный бюллетень!