ダブルチェックが効くのは、二人が違う間違え方をするときだけです。同じ道具で、同じ観点で、同じように見れば、
二人いても一人分の目にしかなりません。
AIを全員が使うようになると、これが静かに起こります。しかも指標の上では「良くなった」ように見えます。
——見落としが減ったからではなく、見落としが揃ったからです。
信頼性工学に共通原因故障という考え方があります。同じ部品を2つ並べて冗長化しても、 両方が同じ理由で壊れるなら、冗長化になっていないという話です。 予備の発電機を2台置いても、2台とも同じ地下室にあれば、浸水したとき2台とも止まります。
確率で書くと、効き目の差は歴然です。
「2人で見た」は、必ずしも「2回見た」ではありません。 2回分の効果が出るのは、2人の間違え方が独立しているときだけです。 ここは気持ちの問題ではなく、掛け算が成り立つかどうかの問題です。
これがこの話のいちばん厄介なところです。誤りが独立なら、見つかります。片方が気づくからです。 気づけば記録に残り、「チェックが効いた」と分かります。
誤りが相関すると、見つかりません。誰も気づかないので、記録にも残りません。 そして記録に残らないものは、「問題がなかった」と読まれます。
つまり、独立性が失われるほど、指標は良くなります。 レビューの指摘件数が減り、意見の食い違いが減り、差し戻しが減る。 どれも普通は「改善」として報告される数字です。
AI導入後に「レビューで揉めなくなった」「指摘が減った」という感想が出ることがあります。 これは2通りに読めます。
① 品質が上がって、指摘すべきことが減った
② 全員が同じ見方をするようになり、食い違いが出なくなった
①と②は、出てくる数字がまったく同じです。数字を見ているかぎり区別できません。 区別するには、別の測り方が要ります(後述)。
具体的に、どこで相関が生まれるか。
そして、より広い範囲で起きうることがあります。
審査は、制度が用意した「別の目」でした。出願人とは違う立場、違う情報、違う判断基準で見る仕組みです。 その独立性がどう保たれるかは、個々の企業の工夫では決まりません。ここから先は制度設計の領域になります。 私はその答えを持っていません。ただ、問いとしては立つと思っています。
外部に頼むと、非効率です。説明の手間がかかり、時間がかかり、費用がかかる。 その非効率をなくそう、というのが内製化の動機です。まっとうな動機です。
ただ、外に出すと副産物がついてきていました。
ここが問題の核心だと思います。誰も「多様性を買う」と思って発注していませんでした。 発注書に書かれていたのは調査であり、起案であり、応答案です。多様性は請求項目になかった。
値段のついていないものは、なくなるとき計算に入りません。 内製化の効果を試算するとき、削減できる費用は積み上げられます。 しかし「独立した目を1つ失う」は、金額欄に書けません。書けないので、比較表に載りません。 載らないものは、検討されないまま消えます。
前の記事で、外注に残るのは責任を切り出せる仕事だけだと書きました。 書類の瑕疵は責任を問えるので外に出せる。内容の当否は曖昧なので引き取ることになる。
「外部の目」は、まさに責任を書けない仕事です。 「独立に見てもらう」ことの成果物は、たいてい「特に問題ありませんでした」です。 それに値段をつけ、責任を定義するのは難しい。だから真っ先に削られます。
抽象論で終わらせたくないので、手を動かせる形にします。5つ挙げますが、3番目がいちばん重要だと思っています。
同じモデルに書かせて同じモデルに検証させると、採点者と受験者が同一人物になります。 ベンダーを変える、モデルの系統を変える、片方はローカルにする。何でもいいので系統を分ける。
コストは上がります。上がるのが正しい
全社統一の観点データベースは効率的ですが、相関を最大化する装置でもあります。 重要案件だけでも2系統で見る。片方は従来の人手の観点を残す。
「統一しきらない」という判断が要ります
2つの経路が同じ指摘をする率を記録します。ここが肝心なところで—— 一致率が高いのは、良いことではありません。
一致率100%の二重チェックは、一重チェックと同じ効果しかありません。 食い違いは無駄ではなく、独立性が生きている証拠です。 食い違いが減ってきたら、品質が上がったのではなく目が1つ減ったと疑う。
普通のKPIと逆向きです。だから明文化が要ります
定期的に、その道具を使っていない人に見せます。分野の違う人、社外の人、新人。 「非効率な枠」を予算に明示的に確保しておかないと、真っ先に削られます。
目的を書いておかないと、次の期に消えます
実務的にはこれが効きます。使ったモデル・バージョン・観点データの版を案件に紐づけて残す。
後から系統的な誤りが見つかったとき——たとえば「あるモデルは特定の構成の上位概念化を誤りやすい」と分かったとき—— 影響範囲を特定できます。記録がなければ、全件を見直すか、何もしないかの二択になります。
いま始めれば、将来のリコール単位になります
ここまで書いておいて、自分の足元を見ないのは筋が通らないので書きます。
このサイトの教材は、ほぼ全部を私が同じAIと書いています。同じ道具、同じ癖、同じ盲点。 分野の選び方も、論の運び方も、何を重要だと思うかも、おそらく揃っています。 読み比べても食い違わないとしたら、それは正しいからではなく、独立していないからかもしれません。
掲示板で「うまくいった話より、詰まった話のほうが役に立つ」と書いているのは、 そういう理由もあります。同意は情報量が少ない。食い違いだけが、独立した目が存在する証拠です。
「無駄を省く」と「多様性を削る」は、実行するときには同じ操作に見えます。 どちらも、重複をなくし、揃え、統一する動きです。
区別できるのは、何が起きなくなったかを測っているときだけです。 指摘が減ったのか、指摘すべきことが減ったのか。食い違いが解消したのか、食い違える相手が消えたのか。 測っていなければ、両者は同じ数字に見えます。
そして冒頭に戻ります。多様性の維持コストを、これから誰が払うのか。 外部に払っていたときは、調査費や起案費という名目がついていました。 内製化すると、名目が消えます。名目のない支出は、承認されません。
だから最初にやるべきは、たぶん対策そのものではなく、これに名前をつけることです。 名前がつけば予算がつき、予算がつけば残ります。
これは仮説です。そしてこの記事に同意が集まったら、それ自体がこの記事の主張の反証になります。 独立に考えた人が全員同じ結論になるのは、変だからです。
掲示板に置いていってください。「うちは一致率を測っている」でも「それは考えすぎだ」でも構いません。
掲示板へ →