- Salesforce

※本記事は2024年10月28日に米国で公開された How Salesforce Shapes Ethical AI Standards in the Agent Era の抄訳です。本記事の正式言語は英語であり、その内容および解釈については英語が優先されます。

Agentforce の一般提供開始によって、自律型AIエージェントの時代がついに到来しました。ここ数年のAIの台頭は目覚ましく、この重要な転換期において、新しい技術が人間に与える影響を考慮することは極めて重要です。

Salesforceは、定型的な作業を処理する自律型AIエージェントを構築しています。これにより、人々はよりリスクが高く、判断が求められる重要な意思決定に集中することができます。Salesforceでは、自律型AIエージェントの設計、開発、利用へと導く責任あるAIの原則を掲げ、人間と自律型AIエージェント間の信頼構築を最優先しています。

Salesforceでは、自律型AIエージェントの設計、開発、利用へと導く責任あるAIの原則を掲げ、人間と自律型AIエージェント間の信頼構築を最優先しています

責任ある自律型AIエージェントのための指針

倫理的および人道的利用オフィス（Office of Humane and Ethical Use）（英語）は、2018年にSalesforce初の信頼されるAIの原則（Trusted AI principles）を策定しました。生成AI（英語）の時代を迎えるにあたり、この原則に責任ある生成AI開発のための5つのガイドラインを追加しました。この原則は、自律型AIエージェントにも適用されます。現在、SalesforceではAIエージェントの責任ある開発と展開を継続的に推進していますが、従業員、パートナー、お客様がこれらのツールを安全かつ倫理的に使用できるように、当社の原則、ポリシー、製品を再度見直しました。

自律型AIエージェントの責任ある開発に関する当社の指針には、以下が含まれます。

正確性：自律型AIエージェントは正確な結果を優先すべきです。トピック分類のような思慮に富んだ制約を考慮して開発する必要があります。トピック分類とは、ユーザーの入力が、関連する一連の指示、ビジネスポリシー、そのリクエストを満たすためのアクションを含むトピックにマッピングされるプロセスです。これにより、自律型AIエージェントが人間の代わりに実行できるアクションとできないアクションが明確に指示されます。また、回答の正確性に疑いがある場合は、自律型AIエージェントはユーザーが引用、説明、その他の手段によって回答を検証できるようにすべきです。

Agentforceは、生成されたコンテンツが検証可能なデータソースに裏付けられていることを保証し、ユーザーが情報を相互に確認し検証できるようにします。Agentforceの頭脳であるAtlas推論エンジン（英語）を搭載することで、明確なガードレールを設定し、信頼性の高い結果を保証するためのトピック分類も可能にします。

安全性：バイアス、有毒性、問題のあるアウトプットを軽減するために、バイアス、説明可能性、堅牢性の評価、倫理的なレッドチーム演習*（英語）を実施する必要があります。AIエージェントの回答とアクションは、トレーニングに使用されるデータに含まれる個人識別情報（PII）のプライバシー保護を優先し、さらなる被害を防ぐガードレールを作成する必要があります。

*レッドチームとは、「AI システムや製品を精査し、有害な機能、出力、またはインフラストラクチャの脅威を特定するプロセス」のこと ( Frontier Model Forum )。

Agentforceには、Einstein Trust Layerという、顧客データのプライバシーとセキュリティを保護する強固な一連のガードレールが組み込まれており、有害な可能性のあるコンテンツがエンドユーザーに到達する前に警告を発します。これは、AIエージェントが対応できることと、対応する範囲を制限するデフォルトのモデルの抑制ポリシーやプロンプト指示に加えて行われるものです。たとえば、LLMが性別、年齢、人種、性的指向、社会経済的地位、その他の変数の使用を防止するように導くことができます。

誠実さ：モデルのトレーニングと評価のためにデータを収集する際には、データの出所を尊重し、データ使用に対する同意（オープンソース、ユーザー提供など）を得ていることを確認する必要があります。また、AIがコンテンツを自律的に配信する際には、AIによってコンテンツが作成されたことを示す必要があります（たとえば、消費者に対するチャットボットの応答に免責事項を記載したり、AIが生成した画像に透かしを使用するなど）。

Agentforceは、アウトバウンドコンテンツを送信するAIエージェントに標準的な情報開示パターンを組み込んで設計されています。たとえば、Einstein Sales Development Rep (SDR) AgentやAgentforce Service Agentは、コンテンツがAIによって生成されたものであることを明確に開示することで、ユーザーや受信者、または顧客や見込み客との会話を行う際に透明性を確保します。

エンパワーメント：人間の能力を「強化」するためには、人間とAIのパートナーシップを優先し、有意義で効果的な引き渡しを設計する必要があります。プロセスを完全に自動化することが最善のケースもありますが、特に人間の判断が必要な場合には、AIは人間のサポート役を担うべきです。

Agentforceは、人間がリスクの高い意思決定をコントロールできるようにすると同時に、一部のルーチン業務を自動化し、人間とAIがそれぞれの強みを活かして協働することを可能にします。

持続可能性：モデル開発者は、二酸化炭素排出量を削減するために、可能な限り適切な規模のモデルの作成に重点的に取り組むべきです。AIモデルに関しては、規模が大きいことが常に優れているわけではありません。場合によっては、規模が小さくより高度な訓練を受けたモデルが、規模が大きく汎用的なモデルよりも優れたパフォーマンスを発揮することがあります。加えて、効率的なハードウェアと低炭素データセンターは、環境への影響をより一層低減することができます。

Agentforceは、Salesforce Researchが開発したxLAMやxGen-Salesなど、個々の用途に合わせて特別に調整されたさまざまな最適化モデルを活用しています。このアプローチにより、環境への影響を最小限に抑えながら高いパフォーマンスを実現できます。

今後の展開

Agentforceは進化を続けており、人間とAIエージェントが協調して効率的に、そして責任を持って業務を遂行できるような意図的な設計とシステムレベルの管理（英語）に重点的に取り組んでいます。

これらの原則とガイドラインを遵守することで、Salesforceは強力かつ効率的なだけでなく、倫理的で信頼できるAIエージェントの開発に尽力しています。これらの基本原則に重点的に取り組むことで、お客様が信頼できるAIソリューションを構築し、人間とAIが連携することで、顧客の成功を導く未来への道筋を築くことができると信じています。