※本記事は、2023年12月14日に米国で公開されたHow Einstein Copilot Search Uses Retrieval Augmented Generation to Make AI More Trusted and Relevantの抄訳です。本資料の正式言語は英語であり、その内容および解釈については英語が優先されます。
ニューヨーク市で開催された「World Tour NYC」で、SalesforceはData Cloudの非構造化データ機能とEinstein Copilot Searchを新たに発表しました。セマンティック検索を用いたデータ検索機能とEinstein Copilotのプロンプトを組み合わせることで、大規模言語モデル（LLM）による回答精度が高まり、最新かつ透明性の高い回答を生成することができます。同時に、企業データの安全性のセキュリティはEinstein Trust Layerによって守られます。
これらの強力な新機能は検索拡張生成（RAG）と呼ばれるAIフレームワークによって支えられています。RAGによって企業は独自の構造化データや非構造化データを活用し、生成AIの信頼性と関連性を高めることができます。
RAGとは？
簡潔に言うと、RAGは企業がより良いAIからの回答出力を得るために、データがどこにあろうと、データを検索して使えるよう支援します。RAGの手法は、検索エンジンとLLM間のクエリと回答を調整します。ここで特筆すべき点は、電子メールや通話内容のトランスクリプト、ナレッジ記事といった、一般的なリレーショナルデータベースとは異なる形式の非構造化データであっても操作できることです。それは、RAGという名前が、検索（Retrieval）、拡張（Augmented）、生成（Generation）の英語の頭文字から来ていることからもわかります。
- 検索（Retrieval）：LLMから信頼性のある出力を得るためには、企業が構築したプロンプトを使用する際にもっとも関連性の高いデータを検索する必要があります。その際に用いられる一般的な手法こそセマンティック検索であり、それはSalesforceが発表したEinstein Copilot Searchの中核を担っています。セマンティック検索はユーザーの要求や質問を受け取り、そこに含まれるキーワードだけでなく、その意味や意図まで踏まえて検索を実行します。
- 拡張（Augmented）：RAGを使えば、有益なデータを得るためにLLMに事前に学習させる必要はありません。その代わりに、プロンプトそのものが関連性のある文脈データで自動的に拡張されることで、関連性のある文脈データがLLMに与えられます。
- 生成（Generation）：最終的に拡張プロンプトがLLMに送信され、アウトリーチメールやカスタマーサービスの返信などの出力を生成するために使用されます。RAGの場合、ここで生成される回答はユーザーが信頼でき、最適かつ最新のデータを使用したものである必要があります。また回答の信頼性を高めるために、Salesforceが提供する多くのRAGの実装手法においては、ユーザーがAIモデルの引用元にアクセスできるため、出力の正確性を確認することができます。
RAGの機能とは？
RAGは幅広く知られている概念ですが、SalesforceにおいてはAIの信頼性と関連性を高めるために具体的かつ強力な形で機能しています。
RAGの起点はSalesforce Data Cloudです。Salesforceには、このハイパースケールなデータプラットフォームが組み込まれており、顧客がデータを調整して統合し、Salesforceのアプリケーション全体で活用できるよう支援しています。
- 現在、Data Cloudは拡張され、PDFや通話内容のトランスクリプト、電子メール、その他のバイナリ形式のオブジェクトといった非構造化データを格納できます。企業データの約90%が非構造化データ（PDF、メール、ソーシャルメディアの投稿、音声ファイルなど）であることを考えると、ビジネスアプリケーションやAIモデルで利用可能になれば、AIによる出力の質は大幅に向上します。
- Data Cloudに追加された新たな非構造化データに対応したパイプライン機能により、取り込みたい非構造化データ（ナレッジ管理サービスにある記事、S3バケット内の通話内容のトランスクリプトなど）を選択し、Einstein 1 Platform全体で使用できるようになります。テキストファイルを取り込む場合、データを小さなフラグメントに分割することで、そのデータに対してより正確に操作を行うことができます。さらに、これをセマンティック検索などの操作で使えるよう、データ変換してData Cloudベクトルデータベースに格納することも可能です。
- Data Cloudベクトルデータベースは構造化データと非構造化データをシームレスに組み合わせ、ベクトル埋め込みと呼ばれる数値表現に変換します。これを行うために、埋め込みモデルと呼ばれる特殊なタイプのLLMをEinstein Trust Layerで呼び出します。このベクトル埋め込み方式によって、AIシステムがデータを処理し、クエリと照らし合わせて、有用な回答を返すことが容易になります。データの検索可能領域を定義すれば、顧客はクリックするだけで検索インデックスを作成できます。
RAGによりEinstein Copilot Searchで生成される回答が強化：SalesforceのRAGでは、新たに発表されたEinstein Copilot Searchが使われます。これはData Cloudベクトルデータベースを使って、セマンティック検索と従来のキーワード検索を組み合わせるものです。
- 顧客や従業員からの問い合わせなどのユーザーリクエストが届くと、非構造化データに使用されるのと同じ埋め込みモデルを用いて、届いたリクエストをベクトル埋め込み表現に変換します。
- 次にEinstein Copilot Searchは、ユーザーの入力した数値表現を取り込み、Data Cloudベクトルデータベース内の非構造化データと比較するセマンティック検索を実行します。リクエストと検索対象のデータが同じ数値表現のため、ユーザーは「k近傍法」といった強力なアルゴリズムを使って、ユーザーの質問にもっとも意味が近い構造化、もしくは非構造化コンテンツを見つけることができます。
- これらの出力の精度を可能な限り高めるため、セマンティック検索技術とキーワード検索とが組み合わされ、さらに結果が絞り込まれます。2つの検索方法を組み合わせることで、Einstein Copilotが意味や意図に基づいてデータを検索し、各プロンプトに対して適切な文脈データをData Cloudから取得できるようにします。
- 検索サービスの結果は、プロンプトビルダーを通じてプロンプトを拡張するために使用されます。この新しい拡張プロンプトには、元のユーザーリクエストとすべての適切な文脈データが含まれています。
- このプロンプトを、Salesforceの安全なAIアーキテクチャであるEinstein Trust Layerが引継ぎます。そして、Einstein Trust Layerを通じて呼び出されたLLMは、拡張プロンプトから受け取った文脈に沿ったタイムリーなデータを基に、信頼性と関連性の高い回答を生成します。
- 最後に、Einstein Trust Layerの一部として、最終的な回答の通知に使用されるデータは引用を通じて出力に表示されるので、ユーザーは回答の出典を把握することができます。
RAGの利便性とは？
- RAGにより、LLMは回答を生成する際に最新のデータを使用できるようになります。プロンプトに検索結果を追加することで生成AIの回答におけるハルシネーションを軽減し、LLMの微調整や再トレーニングなどの手間を省けます。
- RAGでは、生成AIの回答に引用元を表示させることが可能です。これによって生成プロセスの透明性が高まり、ユーザーからの信頼感を醸成します。
- 上級ITリーダーの過半数（71%）は、生成AIはデータに新たなセキュリティリスクをもたらすと考えています。RAGでは、企業の構造化データおよび非構造化データをLLMに渡す必要はありません。Einstein Trust Layerを通じて拡張プロンプトが送信されることでデータの安全性と特定のデータ権限が保たれることから、LLMの回答でアクセス権のないユーザーにデータが公開されることはありません。
- RAGによって企業は、関連性やドメインの特性を損なうことなく、検証・実証済みで倫理的な設計が組み込まれた、複数の標準LLMを使用できます。また、RAGはより費用対効果が高く、持続可能な小規模LLMを使うことも容易になります。
Salesforce Customer 360全体でRAGを利用する方法
Einstein Copilot SearchとData Cloudベクトルデータベースを通じてRAGの手法を使うと、あらゆるSalesforce Customer 360のクラウド製品と業種別ソリューションをよりスマートに活用できるようになります。
- Sales Cloudでは、すべての営業担当者がこれまで営業メールや議事録、通話内容のトランスクリプト、会社のホワイトペーパー、製品ドキュメントなどに埋もれていたインサイトを活用できます。RAGは、Data Cloud内にあるこうしたドキュメントのすべての非構造化データを使用して会議内容の要約を作成することができます。これにより、営業担当者はあらゆる関連情報を踏まえながら顧客対応の準備を速やかに進めることができます。また、RAGはこうした非構造化データを使用してより優れた電子メールやその他のアウトバウンドメッセージを作成することも可能です。
- Service Cloudでは、すべてのサービス担当者がナレッジ記事や過去のケース、会話、メールでのやり取り、その他の非構造化データなどに基づいて提案された返信内容を確認できます。これにより、あらゆるチャネルでより迅速かつ的確に顧客に回答できるようになります。
- 業種別ソリューションやクラウドを問わず、企業はドキュメントからコンテンツに関して質問することができます。たとえば、RAGはユーザーマニュアルや製品資料、提案依頼書、また見積依頼書に対する過去の回答でさえも、Q&Aを通じて探索することができます。
