Чарльз Гудхарт, главный советник по денежно-​кредитной политике Банка Англии и профессор Лондонской школы экономики и политических наук в 1975 году при написании статьи сделал шутливое отступление, которое в последствии оказалось законом поведения человечества, а в дальнейшем главным багом фичей искусственного интеллекта. Это звучало так: — «… любая наблюдаемая статистическая закономерность склонна к разрушению, как только на неё оказывается давление с целью управления…».

ichi.pro и aftershock.news

Закон Гудхарта — это известная поговорка, названная в честь британского экономиста Чарльза Гудхарта, которая обычно гласит: «Когда мера становится целью, она перестает быть хорошей мерой».

Эта идея одинаково интересна бизнесменам, менеджерам и аналитикам данных — и не зря: компании обычно управляются с использованием показателей, и мало что может быть хуже, чем метрика из лучших побуждений испортилась.

Первоначально опубликовано в англоязычном блоге 14 октября 2020 г.


Знаменитый пример этого — то, что сейчас называется «эффектом кобры». История гласит следующее: в Индии, находящейся под властью Великобритании, колониальное правительство было обеспокоено количеством ядовитых кобр в Дели. Правительство посчитало хорошей идеей привлечь местное население в свои усилия по сокращению количества змей и начало предлагать награду за каждую мертвую кобру, принесенную к его дверям.

Изначально это была успешная стратегия: люди приходили с большим количеством зарезанных змей. Но со временем предприимчивые особи начали разводить кобр с намерением убить их позже, чтобы получить дополнительный доход.

Когда британское правительство обнаружило это, они отказались от награды, заводчики кобр выпустили своих кобр в дикую природу, а в Дели произошел бум змей в капюшонах.


Сегодня мы знаем, что существует четыре разновидности закона Гудхарта. Дэвид Манхейм и Скотт Гаррабрант изложили эти вкусы в своей статье «Классификация вариантов закона Гудхарта» ; позже Манхейм написал еще одну статью под названием « Создание менее ошибочных показателей» , которую он распространил через Мюнхенский личный архив RePEc. (Я должен отметить, что ни одна из этих работ не прошла рецензирование, но я не думаю, что это снижает их ценность.)

В своей статье Манхейм и Гаррабрант излагают свои аргументы в пользу четырех категорий в чрезвычайно обобщенной манере, что имеет смысл, если подумать о применении закона Гудхарта. Например, Манхейм и Гаррабрант интересовались последствиями этой идеи для исследований ИИ (представьте, если бы вы сказали сверхразумному ИИ оптимизировать производство скрепок, и он решил измельчить людей, чтобы производить больше скрепок …), но лучшее понимание закона Гудхарта широко применяется к государственной политике, управлению компаниями и разработке систем стимулирования.

Этот пост представляет собой краткое изложение четырех вкусов; он не предназначен для исчерпывающего учета всех частичных случаев в документе. Но я думаю, что широкое понимание четырех ведер должно оказаться полезным для среднего предпринимателя. Давайте начнем.

Регрессивный Гудхарт

Первый вариант закона Гудхарта — единственный, который невозможно предотвратить.

Представим, что вам нужно нанять кандидатов на работу. Что вы действительно хотите измерить, так это их будущую эффективность работы, но вы не можете измерить это непосредственно во время собеседования. Затем вы узнаете, что IQ коррелирует с производительностью работы примерно на 0,6 (прим. авторов сайта: такой коэффициент означает среднюю тесноту связи). Вместо этого вы решаете провести тест на IQ. Что может пойти не так?

Сначала тест проходит успешно — вашей компании удается нанимать людей лучше, чем те, кого наняли по старому процессу. Воодушевленные этим, вы постепенно начинаете оптимизировать набор кадров только по IQ: например, вы рекламируете, что ваша компания невероятно избирательна, в ней приятно работать, она наполнена умными людьми и так далее. Но через некоторое время вы понимаете, что люди с самым высоким IQ, как правило, работают хуже, чем некоторые из кандидатов с менее высоким уровнем интеллекта. А с некоторыми из этих людей с высоким IQ совершенно неприятно работать! Поздравляю: вы только что испытали регрессивный Гудхарт.

Регрессивный метод Гудхарта возникает из-за того, что измерение, которое вы используете в качестве прокси для своей цели, несовершенно коррелирует с этой целью. В приведенном выше примере IQ имеет корреляцию 0,6 с производительностью работы, что является хорошей корреляцией по стандартам социальных наук, но также означает, что есть другие факторы, которые имеют значение для производительности труда. Оптимизируя только IQ, вы, вероятно, получите неоптимальные результаты, потому что игнорируете эти другие факторы.

Чтобы понять, почему это может быть правдой, скажем, что такая психологическая черта, как добросовестность, также является предиктором будущих результатов работы. Если вы оптимизировали персонал по критерию сверхвысокого IQ, вы, по сути, выбирали из небольшого числа людей, поскольку в любой популяции меньше людей со сверхвысоким IQ. Шансы, что вы выберете из этого небольшого пула кого-то, кто также обладает высокой сознательностью, очень низки; поэтому мы должны увидеть результат, в котором люди с лучшими показателями работы будут иметь IQ выше среднего, но люди с наивысшими показателями IQ не будут иметь лучших результатов работы (поскольку они вряд ли также будут обладать высокой добросовестностью, а добросовестность способствует производительности работы). Этот эффект иногда называют «хвосты распадаются».

На практике регрессивного варианта Гудхарта невозможно избежать, потому что почти каждое измерение, которое вы можете придумать, является несовершенным отражением того, что вы хотите измерить. Если этот показатель станет целью, вы, вероятно, отклонитесь от своих истинных целей.

Что с этим делать? Как однажды предположил легендарный генеральный директор Intel Энди Гроув, одним из решений может быть сочетание противоположных индикаторов. Но другой способ, который предлагает Манхейм, — это поискать более точные измерения вашей истинной цели — легко сказать, но сложно сделать!

Экстремальный Гудхарт

Экстремальный результат Гудхарта возникает, когда вы выбираете измерение, потому что оно коррелирует с вашей целью в обычных ситуациях. Но затем принятие этого показателя заставляет вас оптимизироваться под этот показатель, и на крайних концах этого показателя связь с вашей целью нарушается.

Гаррабрант приводит пример наших взаимоотношений с сахаром: люди эволюционируют, чтобы полюбить сахар, потому что сахар коррелировал с калориями в среде наших предков. Это отлично сработало, когда мы охотились на львов; сегодня, однако, эта же оптимизация приводит нас к тому, чтобы пить кока-колу и есть Doritos, и мы начинаем страдать ожирением.

В машинном обучении это иногда происходит из-за «недостаточной адаптации». Например, предполагается, что связь между двумя переменными является полиномом низкой степени, потому что члены полинома более высокого порядка малы в наблюдаемом пространстве. Затем выбор на основе этой метрики перемещается в регионы, где термины более высокого порядка более важны, поэтому использование системы машинного обучения создает эффект Гудхарта.

Причинный Гудхарт

Вы директор средней школы. Вы узнаете, что учащиеся с хорошими результатами на экзаменах в средней школе лучше сдают экзамены в колледж. Вы пришли к выводу, что помощь своим детям в сдаче экзаменов в старшей школе приведет к хорошим результатам, поэтому вы развертываете программу, чтобы научить их навыкам сдачи тестов. Вы также заставляете своих классных учителей направлять учащихся к более легким предметам, потому что это увеличивает их средние экзаменационные баллы.

Не работает. Вы только что испытали на себе причинный вариант Гудхарта.

Другой, более банальный пример: вы ребенок. Вы читали, что у баскетболистов больше шансов быть высокими. Вы хотите быть высоким. Поэтому вы играете в баскетбол.

Этот особый оттенок закона Гудхарта легко понять. Идея состоит в том, что вы думаете, что мера дает результат, когда на самом деле они коррелированы не на 100% и может существовать влияние еще и других факторов. Естественно, если вы оптимизируете одно или другое, вы обычно не повлияете на желаемый результат. В приведенном выше примере с экзаменом ясно, что экзамены в средней школе предсказывают экзамены в колледж только постольку, поскольку они отражают интеллект, знания и упорный труд учащихся (среди прочего). Попытки добиться лучших результатов в колледже, развив способность сдавать экзамены в старшей школе, в лучшем случае имеют ограниченную пользу.

Именно эту идею имеют в виду люди, когда говорят, что «корреляция не подразумевает причинно-следственной связи».

Состязательный Гудхарт

Состязательный Гудхарт — это история о кобрах под британским владычеством, приведенная выше.

В статье Википедии об эффекте Кобры есть ряд других интересных примеров, в том числе этот:

В 1902 году французское колониальное правительство в Ханое создало программу вознаграждений, по которой выплачивалась награда за каждую убитую крысу. Чтобы получить награду, людям требовалось предъявить отрезанный крысиный хвост.

Однако колониальные власти начали замечать в Ханое крыс без хвостов. Вьетнамские крысоловы ловили крыс, отрезали им хвосты, а затем выпускали их обратно в канализацию, чтобы они могли производить потомство и производить больше крыс, тем самым увеличивая доходы крысоловов.

Связанный пример состязательного Гудхарта — закон Кэмпбелла:

«Чем больше количественный социальный показатель используется для принятия социальных решений, тем больше он будет подвержен коррупционному давлению и тем более склонен к искажению и коррупции социальных процессов, которые он призван отслеживать».

Вы можете представить себе ситуацию, когда правительство заявляет, что вся его политика должна основываться на «доказательствах», и, следовательно, это приводит к сильному давлению (и большому количеству стимулов!) Для различных игроков в системе с целью манипулирования, полировки и массировать «доказательства», чтобы оправдать политику правительства.

Общая идея здесь заключается в том, что агент может оптимизировать метрику таким образом, чтобы не достичь цели метрики (эффект кобры), или агент может выбрать оптимизацию для меры таким образом, чтобы уменьшить прогнозирующий эффект этой меры.

Решение? Манхейм предлагает заняться «предварительными исследованиями», например: «Хорошо, эта политика, которую мы собираемся выбрать, в будущем пошла не так, что случилось?» Он указывает, что в группе не должно быть так много людей, прежде чем кто-то придумает правдоподобно ужасный сценарий.

Вот и все: четыре разновидности закона Гудхарта. Если из этого эссе вы больше ничего не помните, запомните следующее: если вы хотите, чтобы на заднем дворе было меньше змей, не платите за мертвых змей.

Вы спросите, а в чем же это выражается? Приведем примеры.


Закон Гудхарта управляет человечествомДля ученых частое цитирование, это путь к должности и славе, поэтому соблазн манипулировать цитированием огромен. Сундарапандиан Вайдьянатан, ученый-​компьютерщик из Технологического института Vel Tech R&D, получил награду от правительства Индии за то, что он входит в число лучших исследователей страны по продуктивности и цитируемости. Но в 2019 году журнал Nature разоблачил очень продуктивного ученого. Оказалось, что 94% цитирований его работ за 2017 год были сделаны им самим или его соавторами.

От авторов сайта: награда составляла 20 тыс. рупий, т.е. примерно 280 долларов. Небогато.

В 2015 году присяжные в Атланте признали 11 учителей виновными в давлении на учеников, родителей, своих коллег и в манипуляциях, что бы обмануть стандартизированные тесты, изменив и сфабриковав бланки ответов учащихся. Суперинтендант школы Беверли Холл должна была получить существенную премию, если результаты общесистемных тестов вырастут в достаточной степени.

Всемирный банк обнаружил, что в рейтинге по легкости ведения бизнеса начали стремительно расти Азербайджан, Китай, Саудовская Аравия и Объединенные Арабские Эмираты. Оказалось, что с «экспертами» которые делали замеры в этих странах проводилась определенная работа в виде подкупа и шантажа, чему и был посвящен  21-​страничный обзор нарушений.

Закон Гудхарта управляет человечеством

Authorities say Wells Fargo bank managers were aware of illegal conduct as early as 2002 but allowed it to continue until 2016.

Wells Fargo & Co.  заплатила $ 480 млн. в 2018 году для урегулирования коллективного иска, в котором инвесторы обвинили банк в мошенничестве с ценными бумагами, связанном с несанкционированным открытием счетов для клиентов. Сотрудники Wells Fargo находились под сильным давлением с целью увеличения продаж финансовых продуктов, поэтому для достижения своих целей они просто подделывали новые учетные записи.

Это вам уже не 20 тысяч рупий…

В 2018 году Банк международных расчетов обнаружил, что европейские банки нашли лазейки в требованиях в стандартах безопасности и устойчивости. Эта лазейка позволяла к концу каждого квартала «приукрашивать» финансовую отчетность, что создавало видимость респектабельности банков несмотря на грубейшие нарушения.

Чем сильнее зарегулирована система, тем резче проявляется это явление. Например в марте 1930 года, вышла статья Иосифа Сталина «Головокружение от успехов». В ней он пишет, что в ряде северных районов, где благоприятных условий для немедленной организации колхозов сравнительно меньше, чем в зерновых районах, стараются нередко подменить подготовительную работу по организации колхозов чиновничьим декретированием колхозного движения, бумажными резолюциями о росте колхозов, организацией бумажных колхозов, которых еще нет в действительности, но о «существовании» которых имеется куча хвастливых резолюций. В некоторых районах Туркестана, где благоприятных условий для немедленной организации колхозов еще меньше, чем в северных областях уже были попытки «догнать и перегнать» передовые районы СССР путем угрозы военной силой, путем угрозы лишить поливной воды и промтоваров тех крестьян, которые не хотят пока что идти в колхозы.

И таких примеров вы сами можете найти множество, достаточно вспомнить народную поговорку «Закон как столб — его нельзя перепрыгнуть, но можно обойти».

И если люди умеют хитрить и выкручиваться, то компьютеры умеют это делать еще лучше. Например, нейронная сеть, предназначенная для обнаружения пневмонии при сканировании грудной клетки, показала хорошие результаты в рамках одной больницы. Но проявила свою человеческую сущность, когда начала сканировать снимки из новых больниц. Оказалось, что система вместо просмотра сканированных изображений сосредоточила внимание на названиях больниц напечатанных на этикетках, из которых были получены сканированные изображения. В некоторых больницах заболеваемость пневмонией была выше и искусственные мозги не сильно утруждая себя распознаванием пневмонии на снимке, начали штамповать диагнозы ориентируясь на уровень заболеваемости в больницах.