AIが賢いほど事故る。仕様書に書けない判断を任せる前に決める4つ

なぜこの話が重要か
2017年、OpenAIとDeepMindの研究者が共同で掘った論点は、
技術の話に見えて、実は統治（ガバナンス）の話でした。

機械が人間から複雑な判断基準を学ぶにはどうするか。
言い換えると、

仕様に書けない判断基準を、どうAIに移植するか。

この問いは、企業の現場そのものです。

経営判断の多くは、要件定義できないから揉めます。
できないまま動かすから、事故った瞬間に説明不能になります。

たとえばECの需要予測で
「在庫を最適化する」だけなら、KPIで完結します。

しかし現場が本当に欲しいのは、こういう判断です。

・売れるがブランドを毀損する売り方は避けたい
・短期の粗利より顧客体験を優先したい
・不祥事リスクがある商品は、数字が良くても止めたい

この手の判断は仕様書に書けません。
書けたとしても例外だらけになり、運用で破綻します。

結局、
人間が良し悪しを評価し、その評価をAIが学ぶ構造に寄せるしかない。

ここから、責任の争点は「結果」から「学習過程」へ移る。
1｜仕様から学習へ移ると、責任の争点が変わる
問われるのは「仕様通りか」ではなく、
「学習の過程が正当だったか」になります。

・評価データの妥当性
・評価者の権限
・例外処理の扱い

これが、そのまま責任問題の中心になります。

2｜評価者の主観がシステム要件になる
誰が、どの権限で、どの基準で良し悪しを付けたか。

ここが暗黙のまま進むと、
AIは「誰の価値観で最適化されたのか」を説明できません。

説明できないAIは、実務で使い続けられません。

3｜証跡（ログ）がないと、改善も監査もできない
人間評価から学ぶAIでは、
評価ログが設計の中核です。

・どの入力に対して
・誰がどう判断し
・どのモデルにどう反映したか

これが残っていないと、
ドリフトも事故も再発防止も統制できません。

だから、モデルの前に評価制度が要る
2017年の共同研究が象徴的だったのは、
最も活発な2つのAI安全研究拠点が同じ結論へ向かった点です。

複雑な報酬を人間から学ぶAIは、モデルより先に評価制度を作らないと成立しない。

AIに判断を任せる前に決めるべき4つ

評価者の役割と権限
評価基準の粒度と例外の扱い
評価ログの形式と保全
停止条件と人間介入点

ここを飛ばしてAIを入れても、導入直後は動きます。

しかし事故や炎上が起きた瞬間、
「誰が何を基準に良いと言ったのか」が空白になります。

その空白は会社ではなく、
経営者の統治不全として処理されます。

結論
報酬を人から学ぶAIは、評価制度とログと停止条件がない限り、
いずれ必ず説明不能で終わります。

統治（ガバナンス）を設計できないなら、AIを導入してはならない。