第246回「AI自動化の失敗学特集3: AIの忖度を見抜け。LLM-as-a-Judgeが陥る多数決の罠と、マルチエージェント時代に必須の『マイノリティ・リポート』実装法」

【メッセージ募集】

番組への質問、トークテーマのご提案、DATAFLUCTに相談したい！など、各種ご連絡は以下のフォームからお送り下さい。

https://forms.gle/3PLJMK4Akr2LT1Pa7

【今回の内容】

さて今回は、AIによる多数決の落とし穴についてのお話です。複数のAIが同じ答えを出したからといって、正しさが確認されたとは限りません。AI同士の見せかけの合意をどう見抜き、安全な検証プロセスを作るのかを考えていきます。

久米村さん、AIが全員一致したときほど、むしろ疑う必要があるというお話ですね？

【今日の質問】

・監視役のAIに詳しい情報を渡すほど有害な提案の承認率が上がる理由

・多数決の公平さを扱うメイの定理と正解率を扱うコンドルセの陪審定理の違い

・AIの回答数と独立した証拠の数を同じものとして扱えない理由

・同じAIに何度も聞く自己一貫性が有効な場面と無駄になる場面

・異なる名前やモデルのAIを使っても誤りが相関してしまう仕組み

・詳しい説明が監視役のAIを説得してしまうシコファンシーの問題

・多数派が知らず少数派だけが持つ決定的情報を消すヒドゥン・プロファイル

・3対2の多数決を結論ではなく人間が確認する箇所の絞り込みに使う方法

・情報の隔離、役割の分散、少数意見の警報化、外部照合という4つの実装ルール

・AIの全員一致を現実のデータやテストコードで覆せる仕組みの必要性

【出演者】

■久米村隼人

ベネッセ、マクロミル、リクルート、日本経済新聞など複数の企業にて、データを活用する15の新規事業を創出。2018年に大企業のデータ活用支援・新規事業立ち上げ支援を行うFACTORIUMを設立し、70以上のDXプロジェクトを支援。2019年にデータサイエンススタジオDATAFLUCTを設立し、4年間で30以上のAIサービスをローンチ。これまで責任者としてローンチした新規事業は35を超える。

大阪府立大学大学院工学研究科修了、早稲田大学大学院商学研究科修了

■DJ Nobby

キャリア26年目のラジオパーソナリティ。経済ニュースパーソナリティとしてフォロワー10万人を超えるVoicyチャンネルを個人で運営する傍ら、ラジオ番組「週刊Nobbyタイムズ」「DJ Nobby's Tokyo LIVE!!」のパーソナリティ、ポッドキャスト「ながら日経」の土曜パーソナリティなどを務める。

大学卒業後はラジオパーソナリティと並行してシティバンク・エヌ・エイ、東京金融取引所、プルデンシャル生命、メットライフ生命に勤務。銀行・証券・保険の3分野に精通し、特にコンプライアンス分野のデータ分析に強みを持つ。

DATAFLUCTウェブサイト

https://datafluct.com