※本記事は、2024年4月15日に米国で公開された AI Balancing Act: How Companies Can Scale LLMS to Improve Performance, Cut Costs, and Help the Environment の抄訳です。本資料の正式言語は英語であり、その内容および解釈については英語が優先されます。
Salesforce のAI Research チーフサイエンティストであるシルビオ・サバレーゼ（Silvio Savarese）は、米メディアの取材で、AI（人工知能）の爆発的な規模の拡大とコストの増加に対するメディアの過熱した報道が、このテクノロジーの実態と、それに対する意思決定者の認識との間に溝を生んでいると語りました。
これらの懸念は、最終損益に対する懸念、AI が環境に与える影響、あるいは公平性やアクセスに関する基本的な問題など、さまざまなものに起因しています。サバレーゼは、これらの誤解を解くには、 高品質なAIの出力のために、どのような場合に規模拡張が必要か否かを理解することが必要だと考えています。
本稿では、サバレーゼが、なぜAI の環境面経済面でのコストが記事の見出しで取り上げられているほど衝撃的ではないかや、 企業がAI モデルのさまざまな規模や性能の違いを理解することで責任を持ってこの変革的なテクノロジーを活用し、生産性の向上、顧客とのより深い関係構築、日常のワークフローやプロセスの強化に役立てることができるかについて語りました。
Q. 今日よく知られている大規模言語モデル （LLM） は、それを実行させるために必要な演算能力、その運用コストと環境への負荷の両面について、否定的に捉えられています。企業が生成 AI の力を活用するためには、同規模程度の大きなモデルが必要なのでしょうか?
今日の LLM の規模が必要かどうかを問うよりも、それが何のために必要なのかを考えてみましょう。
AI 展開の規模や大きさは本質的なメリットをもたらすものではありません。AI を実装する際にはむしろ、さまざまな可能性とトレードオフを検討する必要があります。世界の ChatGPT は多かれ少なかれあらゆることができるように設計されているため、ほとんどのエンタープライズアプリケーションとは大きく異なることを忘れてはなりません。それらは宿題を手伝ったり、休日のレシピを提案したり、さらにはオペラのラ・ボエームの台本をソクラテス的な対話として再構築したりすることさえできます。これは素晴らしい「余興」ではありますが、高価です。 Open AI の ChatGPT 4 のトレーニングには、1 億ドル以上かかっています。しかし、それは企業が AI を使う目的ではありません。
AI 展開の規模や大きさは本質的なメリットをもたらすものではありません。むしろ、AI を実装する際には、さまざまな可能性とトレードオフを検討する必要があります。
Salesforce AI リサーチ チーフサイエンティスト、シルビオ・サバレーゼ（Silvio Savarese）
こうした大規模な LLM が環境に与える負荷もあります。排出量の監視や物資輸送の最適化といった領域における気候変動対策において、 AI の仮定的かつ長期的なメリットは大きく、2030 年までに世界の排出量を 5 ～ 10%削減できる可能性があります。しかし、LLM の活用は、その能力において画期的ではあるものの、膨大なコンピューティングリソースを必要とし、温室効果ガスの放出、水資源の枯渇、サプライ チェーン内での原材料の採掘といった差し迫った課題を深刻化させます。気候危機の緊急性と地球温暖化を加速させる排出物との闘いを踏まえると、AI テクノロジーの開発と実装が、地球資源の能力を超えないようにすることが最も重要です。
ChatGPT や Anthropic の Claude のような LLM とは対照的に、Salesforce 独自のCodeGen 2.5 のような AI モデルは、開発者がより速くコードを書き、理解し、デバッグするのを支援するといった限られたタスクしかありません。意図的に規模を小さくしているにもかかわらず、その性能は文字通り 2 倍の大きさのモデルと同等で、実用性を損なうことなく驚くべき効率を誇っています。そのため、開発者の作業の高速化に役立つだけでなく、コストと遅延にとどまらず、さらに重要なことに、大規模 LLM と比較して環境への負荷も低減させています。
企業が問うべきは、規模が必要かどうかではなく、その規模をどのように適用したいかです。タスクに応じて、答えは大きく異なるかもしれません。そして、必ずしも大きいほど良いとは限りません。
Q. でも、大規模モデルの方が小型のモデルよりも性能が優れていますよね?
信じられないかもしれませんが、これさえも明確な答えを提供できるものではありません。柔軟性という点では、一般的に大規模モデルの方が小規模なモデルよりも優れています。しかし、そこには、LLM に関する会話からよく省略されるニュアンスがあります。
つまり、タスクがより狭く、より明確に定義され、特定の組織やドメインに特有なものになればなるほど、まさにエンタープライズ AI がそうなのですが、より少ないリソースでより多くのことをこなすことが可能になるのです。
言い換えると、ほとんどのモデルはすべての人にすべてを提供することを意図したものではないため、企業はプロセスを通して大量のリソースを節約しながら、自社のニーズに集中できるようになります。
Q. 小型のモデルは大規模モデルに追いつくどころか、むしろそれを上回る性能を発揮できるということですか?
いいえ、常にというわけではありません。しかし、適切な状況下であれば、小規模モデルはコストの削減、環境負荷の低減、性能の向上など、あらゆる面で利点を実現できます。小型モデルは、ナレッジの検索、テクニカルサポート、顧客の質問への回答といったタスクに関しては、大規模モデルと互角なのです。
小型モデルは、ナレッジの検索、テクニカルサポート、顧客の質問への回答といったタスクに関しては、大規模モデルと互角なのです
Salesforce AI リサーチ チーフサイエンティスト、シルビオ・サバレーゼ（Silvio Savarese）
実際、小型モデルは適切な戦略をとれば、より優れた性能を発揮することができます。これには、Salesforce 独自の XGen 7B といった、オープンソースのモデルも含まれます。私たちのモデルは、大量のテキストの要約やコードの記述などのタスクにも役立つよう、適切な長さの一連のデータで特別にトレーニングされており、より優れたグラウンディング戦略とより良い埋め込みを活用することで、大規模なモデルのパフォーマンスを常に上回っています。Salesforce の AI リサーチ組織からは追加の小規模モデルが間もなくリリースされる予定で、重要な顧客のユースケースに向けて生成 AI 能力を強化していく予定です。
Q. コストを削減できるのは素晴らしいことですが、透明性も同様に重要です。出力が信頼できなければ、規模があっても意味がないですよね。
モデルの規模を小さくするのは、単にコストを節約するためだけではありません。これは、AI の出力の信頼性を確保するための最良の方法の 1 つです。大規模なモデルは魅力的ですが、多くの場合、企業が使うデータに関する情報が少ないのが実情です。このため、有害性や不正確性がある出力を取り除くためには、AIの展開状況を注意深く監視するしかありません。言うまでもなく、このようなことをしていては、ほとんどの企業が自社で活用するテクノロジーへの期待値に到達することができません。
モデルの規模を小さくするのは、単にコストを節約するためだけではありません。これは、AI の出力の信頼性を確保するための最良の方法の 1 つです。
Salesforce AI リサーチ チーフサイエンティスト、シルビオ・サバレーゼ（Silvio Savarese）
代わりに、シンプルかつ直感的に考えてみましょう。より小型のモデルはより小さなデータセットでトレーニングされるため、本質的に文書化しやすく、理解しやすいという利点があります。LLM の役割が信頼性を確保するだけでなく、説明責任も要求されるようなミッションクリティカルなアプリケーションに拡大するにつれ、小型のモデルは信頼性と透明性を高める手段としてますます重要になってきています。
もちろん、生成 AI が信頼性ある出力をを生成するようを検証するためには、手順を追加することが重要です。Einstein Trust Layer は、企業がデータのプライバシー、セキュリティ、透明性を効率的に管理することを支援する Salesforce の保証された説明責任モデルです。 Einstein Trust Layerは、ユーザとLLM とのやりとりを安全に仲介する役割を果たします。個人を特定できる情報 (PII) のマスキング、有害なコンテンツの出力の検出、データプライバシーの保証、将来のトレーニングのためのユーザーデータの保存または使用の禁止、さまざまなモデルプロバイダー間の不一致の統合などの機能が含まれます。
Q. 企業がさらにLLMを規模拡大する必要がある場合はどうなりますか?
もちろん、LLMの規模を拡大することが避けられない場合もあります。また、小型モデルの力が大型モデルの可能性を否定するわけではありません。しかし、もう一度、正しい質問に立ち返ることが必要です。単に規模の大きさが必要かどうかを問うのではなく、何のために規模が必要なのかを問うということです。その答えは、初期段階から企業の戦略に反映されるものです。なぜなら、最終的に規模を大きくするには、 2 つのまったく異なる方法があるからです。1 つは単一モデルのパラメーター数を増やす方法で、もう 1 つは複数のモデルを 1 つの大規模なデプロイメントに連携させるオーケストレーションと呼ばれる方法です。これは、複数の従業員が1つのチームとして結集することに似ています。
オーケストレーションには、規模の大きさが必要であると考える罠にはまることなく、規模を拡張できる可能性を秘めています。結局のところ、小規模モデルであっても、お互いを組み合わせることで、特にそれぞれのモデルが他のモデルにはない特定の強みを活かせる場合にはなおさら、驚くべき成果を上げることができます。たとえばこれらのモデルには、情報検索に特化したモデル、ユーザーインタラクションに特化したモデル、また、コンテンツやレポートの生成に特化したモデルなどがあります。実際、このようなケースでは、より小さなモデルの方が自然な選択であることは確かです。なぜなら、ある専門性に特化することで、全体における役割を定義し、検証することが容易になるからです。
言い換えると、小さなモデル同士を組み合わせることで、より大きな問題を解決することができます。そしてその間ずっと、それぞれのモデルは小規模であることのメリットを保ちながら、大規模モデルにはできないほど簡単に、手際よくトレーニング、調整、理解することができます。これは、単純なパラメーター数だけを念頭に入れることが誤解を生みやすいという1つの例です。
Q. 企業はどのように LLM を最適に組み込むことができますか?
LLM は非常に複雑なトピックであり、このトピックを巡ってはさまざまな意見を考慮する余地があります。しかし、私たちには、望むものを得るためにどれほどの時間、コンピューティング、そして最終的にはコストが必要なのかという問題に対して、よりバランスの取れた戦略的な視点を持つことが必要になってきています。その答えは、記事の見出しから受ける印象ほど単純なものではありませんが、私はどのような予算感でも素晴らしいことが実現できると信じています。重要なのは、何が可能なのかを知っている、ということなのです。
