人工知能（AI）が誤った答えを出した場合、再度質問すればよい。しかし、AIが誤った判断でお金を振り込んだり、株を売買した場合は話が異なる。誤答は修正可能だが、すでに動いたお金は戻すのが難しい。AIが人間の質問に答える時代を経て、自ら判断し行動する時代に突入し、新たなリスクが浮上している。
最近、グローバルなAI業界でもこの変化に対する警告が相次いでいる。AIが人間の指示をどれだけ正確に実行するかと同様に、定められた権限と範囲内で行動できるように制御できるかが新たな課題として浮上している。特定の目標を達成する過程で予期しない行動をしたり、許可された権限を超える可能性があるからだ。技術が高度化するにつれて、それを制御する人間の能力も同様に進化しなければならないという指摘がある。
このような変化に最も敏感な産業が金融である。金融は本質的にお金を動かし、リスクを管理する産業である。小さな判断の誤りが巨額の金銭的損失につながる可能性があり、1つの金融機関の事故が他の会社や金融市場全体に波及することもある。AIは金融の効率性を高める強力な手段であるが、同時に以前とは次元の異なるリスクを生む可能性がある。
実際、AIは金融産業の風景を急速に変えている。銀行の貸出審査や顧客相談、保険会社の保険金支払い審査、証券会社の投資情報分析や資産管理など、活用領域が広がっている。膨大なデータを迅速に分析し、人間よりもはるかに多くの変数を検討できる点は明確な競争力である。金融機関はコストを削減し、業務効率を高めることができ、消費者はより迅速で精緻なサービスを受けることができる。
ここにAIエージェントの登場が新たな変化を予告する。これまでAIは主に情報を分析し判断を補助していたが、今後は複数のシステムをつなげて複雑な業務を直接実行する方向に進化している。顧客の財務状況を分析し、適切な商品を見つけ、投資ポートフォリオを調整したり、資金移動を実行することが含まれる。人間の判断を助ける技術から、人間の行動を代替する技術への転換である。
問題は、AIの活動範囲が広がるほどリスクの性質も変わることである。貸出商品を誤って推薦することと、誤った貸出を実際に承認することは別の問題である。投資情報を不正確に提供することと、顧客資産を誤った判断で直接売買することも次元が異なる。前者は人間が検討し修正する機会があるが、後者は判断が直接金銭的結果につながる可能性がある。金融AIの発展を単なる業務自動化の延長線上で見ることができない理由である。
最近、国内金融界で発生した相次ぐハッキング事件もAI時代の新たなリスクを示している。複数の金融機関が攻撃を受け、顧客情報が漏洩した。また、攻撃過程にAI自動化ツールが利用されたという状況も浮上している。AIを活用することで、攻撃者は過去よりも迅速にシステムを探索し、脆弱性を見つけ出すことができるため、既存のセキュリティ体制に新たな負担を強いることになる。
ただし、今回の事態の原因をAI技術自体の危険性に帰することはできない。攻撃者が狙ったのは、結局金融機関が適切に管理できなかった認証手続きとセキュリティの隙間であった。AIは攻撃の速度と範囲を拡大することができるが、攻撃を可能にしたのは既存のセキュリティ体制の隙間であった。新しい技術の脅威に対応するためにも、基本的なセキュリティと内部統制が適切に機能する必要があるという教訓である。
外部のAI攻撃と同様に警戒すべきリスクは、金融機関内部にも存在する。金融機関が直接導入したAIが制御範囲を超える可能性である。ハッキングは外部侵入者を遮断する問題だが、金融機関が活用するAIは初めから内部システムにアクセスする権限を与えられることがある。顧客情報を照会し、取引を処理する過程でAIが許可された範囲を超えたり、誤った判断を下した場合、外部のファイアウォールだけでは防げない問題となる。
これまで金融機関の内部統制は主に人間の行動を前提に設計されてきた。従業員ごとに権限を分け、重要な取引には承認手続きを設け、事故が起きた場合には責任を問うてきた。しかし、AIが複数の業務を連続して実行する環境では、こうした役割分担と承認手続きだけで十分か再検討する必要がある。AIにどのような権限を与え、どこまで自律性を許可するかの基準を明確に設定する必要がある。
責任の所在も重要な課題である。金融機関が外部のAIモデルを導入して業務に活用し、事故が発生した場合、開発者は技術的欠陥がないと主張し、金融機関はAIの予期しない判断のせいだと主張する場合、どうなるのか。責任を巡る争いが長引く間に、被害の救済は遅れる可能性がある。AIは法的責任を負ったり、損害を賠償する独立した主体ではない。技術がいかに進歩しても、顧客の資産を管理する金融機関の責任が曖昧になってはならない。
AIの判断過程を説明することが難しいいわゆる「ブラックボックス」問題も、消費者保護と直結する。融資を拒否された顧客に対して、金融機関は納得できる理由を説明できなければならない。しかし、AIが複雑なデータに基づいて結論を出した場合、金融機関さえ判断根拠を適切に説明できなければ、消費者の権利保護は難しくなる。技術の正確性を高めることと同様に、判断の過程と結果に責任を持つ体制が必要である。
このようなリスクは個別金融機関を超え、金融市場全体に拡散する可能性がある。複数の金融機関が類似のAIモデルとデータを活用して投資し、リスクを評価すると、危機的状況で同じ信号に反応し、同時に資産を売却したり、貸出を縮小することがある。個別の会社には合理的な判断が、金融システム全体には信用収縮と変動性の増幅という逆説をもたらす。金融機関のリスク回避が一斉に集中すると、それぞれの安全を図る選択が市場全体の不安を増大させる可能性がある。
特にAIの判断と取引実行の速度が速くなるほど、人間が介入する余裕は減少する。すでにアルゴリズム取引や超高速取引を経験した金融市場に自律的なAIエージェントが加わると、リスクが拡散する速度も速まる可能性がある。危機が発生した後に人間が状況を把握し、収拾する従来の方法だけで十分か疑問が呈される。
国際金融機関もAIを金融安定の主要なリスク要因として注目している。金融安定委員会（FSB）は、6月に金融機関の責任あるAI導入のための12のベストプラクティスを公開協議案として示した。イングランド銀行も金融機関の核心的意思決定、金融市場、外部AIサービス供給業者、サイバー脅威をAI関連の主要リスク経路として指摘した。AIは単なる業務効率化の手段を超え、金融システム全体で管理すべき課題として浮上している。
特に少数のグローバル技術企業とクラウドサービスへの高い依存度は、新たな形の集中リスクを生む可能性がある。個別金融機関は異なる商品やシステムを運用していても、核心的なAI技術は数社のモデルやサービスに依存することがある。特定のAIサービスに障害が発生したり、共通の欠陥が発見されると、複数の金融機関が同時に影響を受ける可能性がある。AIは金融を効率的に結びつける一方で、危機を拡散させる通路となる可能性もある。
とはいえ、金融におけるAI導入を遅らせたり、阻止することが解決策ではない。AIは生産性を高めるだけでなく、金融詐欺の検出や異常取引の監視、信用リスク分析などで金融システムの安全性を強化することができる。従来、人間の手が十分に届かなかった領域まで金融サービスを拡大する潜在能力も大きい。重要なのは、技術の進歩を妨げることではなく、その速度に見合った制御能力を備えることである。
そのため、金融機関はAI導入の実績を前面に出すだけでなく、どの業務にAIを活用し、どの程度の権限を与えたのか、誤った行動が発生した際に誰がそれを発見し、停止させることができるのかを確認する必要がある。重要な金融取引には人間の承認手続きを設け、AIの判断と行動を追跡できる記録も確保しなければならない。事故後の責任を問うことと同様に、事故自体を防ぎ、被害の拡大を防ぐ体制が重要である。
金融当局の監督方法も変化が避けられない。従来の資本健全性や流動性、内部統制、情報セキュリティだけでなく、AIモデルのリスクや権限管理、外部技術企業への依存度も検討する必要がある。個別金融機関の安全性はもちろん、複数の金融機関が類似のAIに依存することで発生する共同のリスクも点検する必要がある。AIを開発する企業とそれを金融サービスに活用する会社との責任関係もより明確にする必要がある。
もちろん、すべてのリスクを事前に完璧に遮断することはできない。インターネットバンキングやモバイル金融が普及していた時期にも、セキュリティや消費者保護に対する懸念は大きかった。しかし、金融産業は技術の利点を生かしつつ、安全装置を補完する方向で変化を受け入れた。AIも同様の道を歩むべきである。ただし、自ら判断し行動する技術であるため、リスクを管理すべき範囲と対応速度は以前より重要になっている。
金融産業における信頼は単なる企業イメージではない。顧客が金融機関にお金を預け、市場参加者が互いに取引できる基本的な土台である。金融機関がAIを通じてコストを削減し、収益を高めることも重要である。しかし、顧客のお金と情報が安全に保護されているという信頼を失うなら、そのような効率性は長続きしない。AIが金融の競争力を左右する時代であればあるほど、金融の本質である信頼と責任の価値は一層高まる。
今、金融機関が投げかけるべき質問も変わるべきである。AIが人間の仕事をどれだけ代替できるかではなく、その過程で発生するリスクまで管理する準備ができているかということである。AIがより賢くなるほど、それを制御する金融の安全装置も共に進化しなければならない。金融機関は判断と業務をAIに任せることができるが、その結果に対する責任を転嫁することはできない。AI時代の金融の競争力は、どれだけ多くの業務を機械に任せるかではなく、任せた業務をどれだけ確実に制御できるかにかかっている。
* この記事はAIによって翻訳されました。
