適応はどこで止めるべきか——過剰最適化の構造

「もっと最適化すれば、もっと良くなる」という直感は、しばしば裏切られる。適応システムには、最適化を進めるほど結果が改善する領域と、進めるほど悪化に転じる領域の両方がある。ここでは、その転換点で何が起きているのかを、機械学習と指標運用の二つの面から比べてみたい。両者は技術的には別の話だが、並べて見ると共通の構造が浮かぶ。

過学習——訓練データに寄りすぎる

機械学習における過学習(オーバーフィッティング)は、モデルが訓練データの細部に合わせすぎて、未知のデータに対する性能を落とす現象を指す。訓練データには、本質的なパターンと、たまたまの偶然が混ざっている。最適化を進めすぎると、モデルは偶然のほうまで律儀に覚えてしまう。結果として、手元のデータでは高得点を取るのに、新しいデータでは外す。

これは適応システム全般への警告でもある。フィードバックループを速く強く回すほど、系は手元の信号に忠実になる。だがその信号が、本当に追うべきものの偶然の影にすぎなかった場合、忠実さはそのまま誤りの増幅になる。

過剰最適化——指標に寄りすぎる

もう一方の面は、運用上の指標をめぐる過剰最適化である。たとえば「滞在時間」を目標に掲げ、それを上げることに全力を注いだとする。滞在時間は確かに伸びるかもしれない。だが、その伸びが、内容の充実によるものなのか、それとも次の段落をわざと見えにくくして読者を引き留めた結果なのかは、指標の数字だけでは区別できない。指標は上がっているのに、本来追いたかった「満足」は下がっている、という事態が起こりうる。

経済学者チャールズ・グッドハートが定式化したとされる経験則——指標が目標になると、それは良い指標ではなくなる——は、まさにこの構造を突いている。詳しくは指標を最適化すると何が失われるかで扱うが、過学習と過剰最適化は、「測れるものへの過剰な忠実さ」という一点で深く通じている。

緩めれば済む、わけではない

では最適化を緩めればよいのか。話はそう単純ではない。過学習を避けるために正則化を強めすぎると、今度はモデルが大ざっぱになり、拾うべきパターンまで取りこぼす。指標への忠実さを下げれば、過剰最適化の弊害は減るが、そもそも何を改善しているのかが曖昧になる。最適化は強すぎても弱すぎても具合が悪い。ちょうどよい点は、データやタスクごとに異なり、あらかじめ計算で求まるものでもない。

一方で、この「ちょうどよさ」を探る作業には、定量的な検証だけでなく、何を本来の目的とみなすかという定性的な合意が要る。滞在時間を伸ばしたいのか、読者の理解を深めたいのか。目的の言語化を曖昧にしたまま最適化を回すと、系は測りやすいほうへ静かに流れていく。

止め時を設計に含める

過剰最適化への現実的な構えは、「どこまで最適化するか」をあらかじめ設計に組み込むことだ。複数の指標を併用して一つの暴走を抑える、検証用のデータを別に取り分けて手元の好成績を疑う、定期的に人の目で出力を点検する——いずれも、最適化を止める仕組みである。適応システムを賢くする工夫は数多く語られるが、賢さを暴走させない工夫のほうは、相対的に語られにくい。だが実務では、後者こそが系の信頼性を左右する。

出典・参考

• 過学習(オーバーフィッティング)と正則化に関する機械学習の標準的議論
• Charles Goodhart によるグッドハートの法則(1975年の論文に由来するとされる経験則)