Закон Гудхарта управляет человечеством

Закон Гудхарта — это известная поговорка, названная в честь британского экономиста Чарльза Гудхарта, которая обычно гласит: «Когда мера становится целью, она перестает быть хорошей мерой».

Эта идея одинаково интересна бизнесменам, менеджерам и аналитикам данных — и не зря: компании обычно управляются с использованием показателей, и мало что может быть хуже, чем метрика из лучших побуждений испортилась.

Первоначально опубликовано в англоязычном блоге 14 октября 2020 г.

Знаменитый пример этого — то, что сейчас называется «эффектом кобры». История гласит следующее: в Индии, находящейся под властью Великобритании, колониальное правительство было обеспокоено количеством ядовитых кобр в Дели. Правительство посчитало хорошей идеей привлечь местное население в свои усилия по сокращению количества змей и начало предлагать награду за каждую мертвую кобру, принесенную к его дверям.

Изначально это была успешная стратегия: люди приходили с большим количеством зарезанных змей. Но со временем предприимчивые особи начали разводить кобр с намерением убить их позже, чтобы получить дополнительный доход.

Когда британское правительство обнаружило это, они отказались от награды, заводчики кобр выпустили своих кобр в дикую природу, а в Дели произошел бум змей в капюшонах.

Сегодня мы знаем, что существует четыре разновидности закона Гудхарта. Дэвид Манхейм и Скотт Гаррабрант изложили эти вкусы в своей статье «Классификация вариантов закона Гудхарта» ; позже Манхейм написал еще одну статью под названием « Создание менее ошибочных показателей» , которую он распространил через Мюнхенский личный архив RePEc. (Я должен отметить, что ни одна из этих работ не прошла рецензирование, но я не думаю, что это снижает их ценность.)

В своей статье Манхейм и Гаррабрант излагают свои аргументы в пользу четырех категорий в чрезвычайно обобщенной манере, что имеет смысл, если подумать о применении закона Гудхарта. Например, Манхейм и Гаррабрант интересовались последствиями этой идеи для исследований ИИ (представьте, если бы вы сказали сверхразумному ИИ оптимизировать производство скрепок, и он решил измельчить людей, чтобы производить больше скрепок …), но лучшее понимание закона Гудхарта широко применяется к государственной политике, управлению компаниями и разработке систем стимулирования.

Этот пост представляет собой краткое изложение четырех вкусов; он не предназначен для исчерпывающего учета всех частичных случаев в документе. Но я думаю, что широкое понимание четырех ведер должно оказаться полезным для среднего предпринимателя. Давайте начнем.

Регрессивный Гудхарт

Первый вариант закона Гудхарта — единственный, который невозможно предотвратить.

Представим, что вам нужно нанять кандидатов на работу. Что вы действительно хотите измерить, так это их будущую эффективность работы, но вы не можете измерить это непосредственно во время собеседования. Затем вы узнаете, что IQ коррелирует с производительностью работы примерно на 0,6 (прим. авторов сайта: такой коэффициент означает среднюю тесноту связи). Вместо этого вы решаете провести тест на IQ. Что может пойти не так?

Сначала тест проходит успешно — вашей компании удается нанимать людей лучше, чем те, кого наняли по старому процессу. Воодушевленные этим, вы постепенно начинаете оптимизировать набор кадров только по IQ: например, вы рекламируете, что ваша компания невероятно избирательна, в ней приятно работать, она наполнена умными людьми и так далее. Но через некоторое время вы понимаете, что люди с самым высоким IQ, как правило, работают хуже, чем некоторые из кандидатов с менее высоким уровнем интеллекта. А с некоторыми из этих людей с высоким IQ совершенно неприятно работать! Поздравляю: вы только что испытали регрессивный Гудхарт.

Регрессивный метод Гудхарта возникает из-за того, что измерение, которое вы используете в качестве прокси для своей цели, несовершенно коррелирует с этой целью. В приведенном выше примере IQ имеет корреляцию 0,6 с производительностью работы, что является хорошей корреляцией по стандартам социальных наук, но также означает, что есть другие факторы, которые имеют значение для производительности труда. Оптимизируя только IQ, вы, вероятно, получите неоптимальные результаты, потому что игнорируете эти другие факторы.

Чтобы понять, почему это может быть правдой, скажем, что такая психологическая черта, как добросовестность, также является предиктором будущих результатов работы. Если вы оптимизировали персонал по критерию сверхвысокого IQ, вы, по сути, выбирали из небольшого числа людей, поскольку в любой популяции меньше людей со сверхвысоким IQ. Шансы, что вы выберете из этого небольшого пула кого-то, кто также обладает высокой сознательностью, очень низки; поэтому мы должны увидеть результат, в котором люди с лучшими показателями работы будут иметь IQ выше среднего, но люди с наивысшими показателями IQ не будут иметь лучших результатов работы (поскольку они вряд ли также будут обладать высокой добросовестностью, а добросовестность способствует производительности работы). Этот эффект иногда называют «хвосты распадаются».

На практике регрессивного варианта Гудхарта невозможно избежать, потому что почти каждое измерение, которое вы можете придумать, является несовершенным отражением того, что вы хотите измерить. Если этот показатель станет целью, вы, вероятно, отклонитесь от своих истинных целей.

Что с этим делать? Как однажды предположил легендарный генеральный директор Intel Энди Гроув, одним из решений может быть сочетание противоположных индикаторов. Но другой способ, который предлагает Манхейм, — это поискать более точные измерения вашей истинной цели — легко сказать, но сложно сделать!

Экстремальный Гудхарт

Экстремальный результат Гудхарта возникает, когда вы выбираете измерение, потому что оно коррелирует с вашей целью в обычных ситуациях. Но затем принятие этого показателя заставляет вас оптимизироваться под этот показатель, и на крайних концах этого показателя связь с вашей целью нарушается.

Гаррабрант приводит пример наших взаимоотношений с сахаром: люди эволюционируют, чтобы полюбить сахар, потому что сахар коррелировал с калориями в среде наших предков. Это отлично сработало, когда мы охотились на львов; сегодня, однако, эта же оптимизация приводит нас к тому, чтобы пить кока-колу и есть Doritos, и мы начинаем страдать ожирением.

В машинном обучении это иногда происходит из-за «недостаточной адаптации». Например, предполагается, что связь между двумя переменными является полиномом низкой степени, потому что члены полинома более высокого порядка малы в наблюдаемом пространстве. Затем выбор на основе этой метрики перемещается в регионы, где термины более высокого порядка более важны, поэтому использование системы машинного обучения создает эффект Гудхарта.

Причинный Гудхарт

Вы директор средней школы. Вы узнаете, что учащиеся с хорошими результатами на экзаменах в средней школе лучше сдают экзамены в колледж. Вы пришли к выводу, что помощь своим детям в сдаче экзаменов в старшей школе приведет к хорошим результатам, поэтому вы развертываете программу, чтобы научить их навыкам сдачи тестов. Вы также заставляете своих классных учителей направлять учащихся к более легким предметам, потому что это увеличивает их средние экзаменационные баллы.

Не работает. Вы только что испытали на себе причинный вариант Гудхарта.

Другой, более банальный пример: вы ребенок. Вы читали, что у баскетболистов больше шансов быть высокими. Вы хотите быть высоким. Поэтому вы играете в баскетбол.

Этот особый оттенок закона Гудхарта легко понять. Идея состоит в том, что вы думаете, что мера дает результат, когда на самом деле они коррелированы не на 100% и может существовать влияние еще и других факторов. Естественно, если вы оптимизируете одно или другое, вы обычно не повлияете на желаемый результат. В приведенном выше примере с экзаменом ясно, что экзамены в средней школе предсказывают экзамены в колледж только постольку, поскольку они отражают интеллект, знания и упорный труд учащихся (среди прочего). Попытки добиться лучших результатов в колледже, развив способность сдавать экзамены в старшей школе, в лучшем случае имеют ограниченную пользу.

Именно эту идею имеют в виду люди, когда говорят, что «корреляция не подразумевает причинно-следственной связи».

Состязательный Гудхарт

Состязательный Гудхарт — это история о кобрах под британским владычеством, приведенная выше.

В статье Википедии об эффекте Кобры есть ряд других интересных примеров, в том числе этот:

В 1902 году французское колониальное правительство в Ханое создало программу вознаграждений, по которой выплачивалась награда за каждую убитую крысу. Чтобы получить награду, людям требовалось предъявить отрезанный крысиный хвост.

Однако колониальные власти начали замечать в Ханое крыс без хвостов. Вьетнамские крысоловы ловили крыс, отрезали им хвосты, а затем выпускали их обратно в канализацию, чтобы они могли производить потомство и производить больше крыс, тем самым увеличивая доходы крысоловов.

Связанный пример состязательного Гудхарта — закон Кэмпбелла:

«Чем больше количественный социальный показатель используется для принятия социальных решений, тем больше он будет подвержен коррупционному давлению и тем более склонен к искажению и коррупции социальных процессов, которые он призван отслеживать».

Вы можете представить себе ситуацию, когда правительство заявляет, что вся его политика должна основываться на «доказательствах», и, следовательно, это приводит к сильному давлению (и большому количеству стимулов!) Для различных игроков в системе с целью манипулирования, полировки и массировать «доказательства», чтобы оправдать политику правительства.

Общая идея здесь заключается в том, что агент может оптимизировать метрику таким образом, чтобы не достичь цели метрики (эффект кобры), или агент может выбрать оптимизацию для меры таким образом, чтобы уменьшить прогнозирующий эффект этой меры.

Решение? Манхейм предлагает заняться «предварительными исследованиями», например: «Хорошо, эта политика, которую мы собираемся выбрать, в будущем пошла не так, что случилось?» Он указывает, что в группе не должно быть так много людей, прежде чем кто-то придумает правдоподобно ужасный сценарий.

Вот и все: четыре разновидности закона Гудхарта. Если из этого эссе вы больше ничего не помните, запомните следующее: если вы хотите, чтобы на заднем дворе было меньше змей, не платите за мертвых змей.