AIが大惨事をもたらす4つの兆候

まえがき

『たとえば、ある企業が短い面接動画を分析するだけで優秀な人材を自動で特定できるソフトウェアを販売しているとしよう。しかしこの企業が実際にはAIによる大惨事を生みだそうとしているとしたら？ その警告サインとはどんなものだろう？』

リスト

1. 問題が厄介すぎる： 優秀な候補者を見分けるためには、たとえば候補者の（演技でない）意欲を見抜く、ジョークや非言語サインを理解する、過去データにない時事問題への言及を理解するなど多くの困難がある。
2. 人間がAIに解かせたかった問題とAIが解こうとしている問題が違う： 優秀な人材を見つけているのではなく、人間の採用責任者が過去に気に入った候補者にいちばん近い候補者を見つけているにすぎないかもしれない。
3. ずるい近道が存在する： AIは的外れな近道を採用することがある。たとえば過去に採用された候補者を一台のカメラで撮影していたとすると、AIはカメラのメタデータを読み取り、そのカメラで撮影された候補者のみを選び出すかもしれない。
4. 学習に使ったデータに欠陥がある： 多くの場合、サンプル・データは人間がAIに解決を求めている問題そのものである。学習に使ったデータが欠陥だらけの人間の判断の結果であれば、AIは欠陥まで含めてその判断をまねる。

あとがき

ジャネル・シェイン 『おバカな答えもAIしてる 人工知能はどうやって学習しているのか？』 （光文社、2021年）より。まえがきは本文の要約・引用です。リストは本文にやや加筆しつつ作成しました。

動画分析による面接ソフトを例に、AIが間違える可能性を挙げている箇所でした。

ただ項目にはやや重複がありそうです。ずるい近道(3)は、AIが解くべき問題（優秀な人材を見抜く）を正確に理解していない(2)ところから来るわけですよね。

本書から学んだことと合わせて勝手に整理した「AIが問題を解決できない状況」のリストを、読書メモがてら作ってみました。

1. AIに解かせたい問題の性質がAIにとって厄介である（幅が広い、長期記憶を要するなど）
2. 人間がAIに解かせたい問題を正確に理解させられない（報酬関数を網羅できないなど）
3. AIが学習に使うデータが適切でない（データにはほぼかならず何らかの偏りがある）

本書は ”AI Weirdness” の著者。