AIが広く普及した一方で、その仕組みは極めて複雑になった。実際、AIシステムが生成する計算を、人間はもちろん、データサイエンティストやエンジニアでさえ理解できないほど複雑になっている。さらに、倫理的な懸念も高まっており、特にバイアスがAIの基盤となる学習モデルに内在していることが問題視されている。説明可能なAI（XAI）は、こうした両方の問題を解決するのに役立つ。
XAIとは何か？
説明可能なAIとは、機械学習モデルが生成する結果を人間が理解し、解釈し、信頼するためのツールやフレームワークの集合である。XAIはAIにメタレイヤーを追加するもので、潜在的なバイアスを含め、AIモデルそのものを説明する。
XAIの仕組み
XAIはさまざまな特徴量と、それらがどの程度寄与しているかを分解して示し、モデルの予測に具体的に何が影響しているのかを明らかにする。
次のようなツールは、IBM’s AI Explainability 360、Fiddler Explainable AI、そしてGoogle’s Vertex AIは、モデル評価指標や特徴量の寄与度に関する詳細な内部情報を提供する。これにより、各入力特徴量がモデルの予測にどの程度影響しているかをより深く理解できる。
XAIの仕組みは、成績評価に似ている。25％の比重を持つテストの得点は、全体の成績に対して5％の比重しかない授業参加の評価よりも、最終成績に大きな影響を与える。
企業にとってXAIが重要な理由
ユーザーが特定の予測がどのように導き出されたかを理解していれば、モデルを大規模に導入する前に、必要に応じて是正措置を講じられる。これはAIのバイアスや倫理を扱う際に極めて重要だ。企業は、特定の集団や人口統計グループに対する差別の可能性を特定し、根絶できるからである。
XAIはAI全体の性能を高め、意思決定をより透明にし、規制への準拠を確実にする。
最適なAI性能
XAIによってモデルの動作をより深く理解できるため、開発者はシステムが適切に機能していると安心できる。AIアルゴリズムの背後にあるロジックを把握すれば、開発者はバグやバイアスをより容易に特定して明らかにし、モデルの性能を改善して、より正確な洞察を得られる。
意思決定
XAIは、企業の意思決定を左右するモデルの精度、公平性、透明性を明らかにする。その結果、説明可能なAIを導入すれば、企業は確かな洞察に基づいて意思決定を行っていると信頼できる。
コンプライアンス
業界によっては、規制基準を満たすためにアルゴリズムが適切に機能することが必要になる場合がある。例えばEU一般データ保護規則（GDPR）の第13条と第22条は、自分に影響を及ぼす自動化された意思決定について、個人が意味のある説明を受けるための救済手段を持たなければならないと定めている。意思決定に異議が申し立てられた場合、XAIは元の決定に至った背景データの文書を提供する。
関連記事：米国企業向けGDPRコンプライアンスの堅牢なプロセスを構築する方法
さまざまな分野で公平なAIを実現するXAI
人事領域におけるXAI
企業の応募者追跡システムにXAIを適用すれば、適格な候補者を不当に大量排除する前に、差別的なパターンの可能性を特定できる。
銀行業務におけるXAI
銀行は説明可能なAIを利用することで、クレジットカードの申し込みや利用限度額の引き上げなどを承認するAIモデルに、差別的なパターンが作用していないかを見極められる。Appleはこの教訓を痛い形で学んだ。利用限度額の引き上げを承認または却下する機械学習モデルが、性別に基づいて差別していたとされるためだ。
教育分野におけるXAI
AIは、入力パターンや目の動き、その他のユーザー行動を監視することで、試験監督における重要な要素になっている。しかしその過程でAIは、「デジタル・エイブリズム」と呼ばれるもの、つまり人間は身体的にできること（できないこと）に応じて、異なる方法でテクノロジーを使い、関わるという事実の否定を助長している。AIを活用した試験監督システムは、障害があるユーザーや、監視対象の活動に影響する疾患を抱えるユーザーにフラグを立てる。
さらに、AI技術は顔認識技術において色の濃い肌の色調を認識できないことがあり、その結果、学生がフラグを立てられたり、不合格になったりするケースもある。
法執行におけるXAI
AIを利用した顔認識技術は有色人種を正しく識別できないため、法執行で利用する場合には壊滅的な影響が生じる。人々が犯罪を犯したと誤って疑われるからだ。
教育や法執行の用途におけるAIのエイブリスト的・人種的バイアスの例は、学習モデルの開発において多様な入力とトレーニングデータが必要であること、さらに、こうした学習モデルをより透明にする説明可能なAIが必要であることを浮き彫りにしている。
軍事分野におけるXAI
米空軍は、ドローンによって生じる死者について説明責任を果たすため、Z Advanced ComputingのXAI搭載3D画像認識技術を備えたドローンを使用している。
XAIの課題
共通基準の欠如
AIアルゴリズムの説明可能性を判断するにあたり、開発者コミュニティには、説明可能性の意味について共通のフレームワークと、何が優れた説明に当たるのかを評価する指標の一式が必要である。
理解しやすい説明
アルゴリズムの説明は、専門家だけでなく、非技術者にも理解できるものである必要があり、幅広い人々に利用しやすいものでなければならない。
逆効果
説明可能なAIは、メタレイヤーによる説明を提供して人間による解釈を可能にすることで、AIの複雑なアルゴリズムとバイアスへの解毒剤として機能する。しかし、XAIによるアルゴリズムの説明は、意思決定に影響を与える望ましい結果を得るための「敵対的攻撃」や、人間による操作への扉を開くことにもなる。
低水準の性能
モデルをより理解しやすくすると、最終的にはシステム性能を犠牲にする可能性があり、その結果、意思決定の根拠となる結果が不正確になる。
プライバシー
研究は、データフュージョン（複数のデータソースを統合すること）、データプライバシー、XAIの関係について、さらなる研究が必要であることを示している。現時点では、説明可能性がデータプライバシーをどの程度損なうのかは明らかになっていない。
XAIの未来
AIの利用をめぐる議論では、今後も倫理が重要な論点であり続ける。AIが人間の脳では処理できないほど複雑になり、その潜在的なバイアスがさらに見えにくくなる中で、説明可能なAIは正しい方向への一歩となり、より責任あるAI利用への道を開く。
AIの急速な革新と普及に追いつくため、企業はモデルを改善し、政府はさらなる規制を導入すると予想される。特に顔認識技術に関する規制が進むだろう。説明可能なAIは、企業が倫理的にAIを開発・応用するうえで、ますます不可欠になる。