指標を最適化すると何が失われるか——グッドハートの法則

あらゆる適応システムは、何かの指標を追っている。クリック率、滞在時間、完了率——これらの数字を上げることが、改善の代名詞になっている。だが、数字を追うことには静かな罠がある。経済学者チャールズ・グッドハートと社会科学者ドナルド・キャンベルは、ほぼ同じ時期に、別々の分野から、この罠を言い当てた。本稿では、二人の警告を並べ、それが今日の指標運用に何を意味するのかを考える。

グッドハートとキャンベル、二つの警告

グッドハートは1970年代、金融政策の文脈で、ある経験則を述べた。後に一般化された形で言えば、「ある指標が目標として採用されると、その指標は良い指標ではなくなる」。人々が指標そのものを上げようと振る舞い始めると、指標と本来測りたかったものとの結びつきが崩れるからだ。

ほぼ同じ頃、社会科学者ドナルド・キャンベルも、近い趣旨の警告を残した。意思決定に使われる量的指標ほど、それを動かそうとする圧力にさらされ、本来測ろうとした過程をゆがめる、というものだ。分野は違えど、二人は同じ構造を見ていた。指標は現実の代理であり、代理を強く押せば、本体との対応がほどけていく。

適応システムでの現れ方

この法則は、自動で最適化を回す系で、いっそう鋭く現れる。人間の組織なら、指標のゆがみに気づいて手を止めることもある。だが系は、与えられた指標を疑わない。過剰最適化で見たように、滞在時間を目標にすれば、系は内容の充実ではなく引き留めの工夫へ流れ、推薦の設計では、クリック率を追って刺激的なだけの候補が上位に来る。いずれも、指標は上がっているのに、本来追いたかったものは下がっている。RLHFにおける報酬モデルの追いすぎも、同じ法則の別の現れだ。

指標を捨てればよいのか

では、指標などやめて感覚で判断すればよいのか。それも違う。指標がなければ、改善は方向を失い、議論は印象論に堕する。グッドハートの法則は、「指標を使うな」ではなく「指標を盲信するな」という警告だ。問題は指標の存在ではなく、単一の指標に全権を委ね、それだけを機械的に押し続ける使い方にある。

現実的な対処はいくつかある。複数の指標を併用して一つの暴走を相互に牽制する。指標と本来の目的のずれを定期的に人の目で点検する。指標を「達成すべき目標」ではなく「監視すべき信号」として扱う——いずれも、代理を本体と取り違えないための工夫である。

代理を本体と取り違えない

グッドハートとキャンベルの警告は、半世紀を経て、自動最適化の時代にむしろ切実さを増している。系は指標に忠実であればあるほど、その指標が代理にすぎないことを忘れさせる。だが数字は、現実そのものではなく、現実を映そうとした影だ。裏を返せば、指標を扱う規律とは、影を本体と取り違えないための、絶えざる自己点検にほかならない。最適化を語るとき、私たちが最後に問うべきは「指標は上がったか」ではなく、「指標が上がったとき、本当に追いたかったものも上がったか」である。

出典・参考

• Charles Goodhart によるグッドハートの法則(1975年の論考に由来)
• Donald T. Campbell によるキャンベルの法則(1976年前後の社会科学的議論)