AI（人工知能）

信頼性の高いAIには人間による舵取りが必要

Salesforceの倫理的および人道的利用最高責任者であるポーラ・ゴールドマンが語る人間とAIシステムとの関係のあり方

ポーラ・ゴールドマン（Paula Goldman）

2024年3月6日 7 分（読み終わるまで）

※本記事は、2024年3月6日に米国で公開された Trusted AI Needs a Human at the Helm の抄訳です。本資料の正式言語は英語であり、その内容および解釈については英語が優先されます。

AI時代に向け、人間と人工知能をどのように融合させるか

AIは私たちの仕事を容易にし、仕事の生産性やビジネスの価値を高めることができます。実際、Slackの新しい調査によると、生成AIツールを使っている従業員の80％が生産性の向上を実感していることがわかりました。しかし、これはほんの始まりに過ぎません。

SalesforceのEinstein Copilotを含むAIアシスタントの導入により、ビジネスにおける可能性は広がるばかりです。AIアシスタントはすでに、質問に答えたり、コンテンツを生成したり、アクションを動的に自動化したりすることができます。そしていつの日か、これらのアシスタントは、私たちのニーズを予測し、代わりとなって行動する、デジタル営業代理店やサービス担当者となるでしょう。

しかし、AIの進歩に伴い、新たな倫理的懸念が生じているのも事実です。AIアシスタントが誤った製品をレコメンドするケースは別として、個人資産や医療情報といった現実世界の重要事項に対して的外れの行動をとった場合、リスクは突然増幅します。

人間とAIが相互作用する新時代を迎えるにあたって、危険なリスクにさらされることなくAIの力を活用するにはどうすればよいでしょうか。

人間が舵を取り続ける

AI革命は進化といえます。私たちは日々飛躍的な進歩を遂げていますが、AIがなぜそのような動作をするのかを常に説明できるわけではありません。また、不正確な情報や有害性、誤情報をすべて排除できるわけでもありません。

だからこそ、Salesforceでは、信頼できるAIには人間による舵取りが必要であると考えています。

これらの理由から、人間がAIシステムをしっかりと制御し続けることが重要です。しかし、AIがますます高度化するにつれ、人間らしさをどのように加えるのべきなのか解き明かすことは難しくなっていきます。“人間参加型のAI（Human in the Loop）”については誰もが聞いたことがあるでしょうが、このAIの新時代では、すべてのAIとの対話に関与したり、AIが生成したすべてのアウトプットを確認したりすることが、現実的ではない場合があります。

だからこそ、Salesforceでは、信頼されるAIには人間による舵取りが必要だと信じています。すべてのAIとの対話に人間が介入するのではなく、より強力なシステム全体の制御を設計することで、人間がAIの成果物に対して舵取りを行い、最も注意を払うべき高い判断力が必要とされる項目に集中できるようにしています。言い換えれば、人間は常にボートを漕ぐ必要はありませんが、船の舵取りをする必要は大いにあるということです。

そして人間が舵を取ることで、私たちは人間と機械の知能を最大限に活かしたAIシステムを設計することができます。例えば、AIに何百万もの顧客プロファイルのレビューと要約を任せることで、驚くほどの効率性を引き出すことができます。それと同時に、人間がAIにはできない方法で判断力を発揮することで、信頼を築くことができるのです。

AIを自動操縦ではなく副操縦士（Copilot）にする

現在のAI製品が自動操縦ではなく副操縦士（Copilot）と呼ばれるのには理由があります。AIがより強力かつ自律的になり、人間の代わりに意思決定や行動を起こすようになると、人間が舵を取り続けることがさらに重要になります。AIの機能と人間の判断力という強みを組み合わせることで、AIをより効果的で信頼できるものにすることができます。

SalesforceのAIにおいて、人間がAIの舵取りをする3つの方法を紹介します：

プロンプトビルダーは、本格的な自動化を支援します： プロンプト（生成AIモデルに送る指示）は非常に強力です。人間が構築したプロンプト1つで、何百万もの信頼できるアウトプットを導くことができますが、それはプロンプトが慎重に構築されている場合に限ります。新しく発表されたプロンプトビルダーは、予想されるアウトプットをほぼリアルタイムで確認できるようにすることで、お客様が効果的なプロンプトを作成し、希望に沿ったAIのアウトプットを確実に得られるよう支援しています。また、ユーザーがプロンプトを調整、修正できるようプロンプトビルダーにさまざまな編集モードを追加し、より有益かつ正確で関連性の高い結果を提供できるようになっています。
監査証跡は、私たちが見落としたものを特定するのに役立ちます： SalesforceのEinstein Trust Layer は、お客様がAIの実績を評価し、AIアシスタントが間違った可能性のある箇所だけでなく、AIが正しく行った箇所も特定できるようにする堅牢な監査証跡を提供します。これらの機能は、人間が発見できないような大規模なデータセット全体に関わる問題を特定するのに役立つほか、組織のニーズに基づいて調整を行うための判断材料を提供します。例えば、監査証跡は、AIツールのアウトプットに一定回数「低評価」のフラグが付けられた場合、つまりAIによって生成されたアウトプットがビジネスの目標を満たしていない可能性がある時に警告を発します。そして、ユーザーがアウトプットを使う前に編集する頻度など、暗黙のフィードバックシグナルを集約することで、企業はシステムを俯瞰して傾向を特定し、アクションをとることができます。
データの制御は、データの保護に役立ちます： AIはデータなしでは成り立ちません。そのためにSalesforceは、Data Cloud（サイロ化された顧客データを一か所にまとめるのに役立つ急成長中のプラットフォーム）で堅牢な制御を設計し、企業がデータを安全に処理できるようにしました。Data Cloud の機能により、企業は AI によるインサイトとインテリジェンスを得るためにデータを活用することができます。また、権限のセット、アクセス制御、データ分類メタデータフィールドなど、長年にわたって提供している Salesforce のコアデータ制御によって、人間も AI モデルも同様に機密データを保護および管理できます。

AI時代の新たなアプローチを切り拓く

AI時代が進化し続ける中、人間とテクノロジーが共に進化していくことが重要になります。AI革命とは、単なる技術革新だけではなく、人間がAIの舵取りをうまく行い、信頼できる効果的な方法でAIを活用できるようにすることでもあります。

AI革命とは、単なる技術革新だけではなく、人間がAIの舵取りをうまく行い、信頼できる効果的な方法でAIを活用できるようにすることでもあります。

Salesforceのアプローチは進化を続け、私たちはこのテーマについて継続的に研究、学習し、複数のステークホルダーと協力することにコミットしています。しかし、人間が舵取りをすることで、私たちはこの新しいAI時代において、人間と機械の知能の最高の部分を組み合わせることができると信じています。つまり、AIの能力を活用しながら、人間が最も得意とすること — 創造的であること、判断力を発揮すること、そして互いにより深つながること — に注力できるようになるのです。

AIと人間が連携することで、より生産的なビジネス、より権限を与えられた従業員、そして最終的にはより信頼性のあるAIを生み出すことができるのです。