組織内のナレッジ活用を支える「KVキャッシュオフロード」とは
自社ナレッジのAI活用による企業競争力強化の必要性とKVキャッシュオフロードの仕組み
AIの活用が広がり、企業や自治体が蓄積した業務データを、文書作成や問い合わせ対応、情報検索などに生かすニーズが高まっています。生産性やサービス品質の向上が期待される一方、個人情報や機密情報を含むデータは、クラウドへの保存や外部環境への持ち出しが難しい場合があります。そのため、組織内でAIを運用できるオンプレミス型AI基盤が選択肢となります。しかし、利用者や参照データが増えると、応答の遅延など性能面の課題が生じます。
前編では、業務データを安心してAIで活用するための基盤要件を整理します。さらに、AIの計算結果を再利用する「KVキャッシュ」と、保存先をGPUメモリーの外部へ広げる「KVキャッシュオフロード」の仕組みを解説。Hitachi Virtual Storage Platform One Blockを活用した構成と効果をご紹介します。
AI活用の急拡大
AIは、文書作成、問い合わせ対応、情報検索、業務マニュアルの参照など、さまざまな場面で活用が進んでいます。しかし、それはもはや、一部の先進企業だけが利用する技術ではなく、幅広い組織が業務へ取り入れる身近な存在になり、公開情報などの一般的な情報だけをAI活用するだけでは、差別化が難しくなっています。
今後は、AIをより密に業務へ組み込み、かつ自組織ならではの価値創出につなげることが激しいAI活用戦争を勝ち抜くカギになります。
組織内のデータ（ナレッジ）活用における現状と課題
注目すべきは、自組織だけが保有する「組織内のデータ（ナレッジ）」活用です。「組織内のデータ」には例えば、お問い合わせの履歴、業務マニュアル、稟議書、契約書、医療記録、地域のお客さまに関する知見など、長年蓄積された貴重なノウハウが含まれています。これらの組織内のデータをAIで活用できれば、利用者は必要な情報へ短時間でたどり着けるようになり、業務効率化やお客さま満足度向上が期待されます。これはまさに、その組織だけが持っている価値であり、ほかの組織には真似ができない、その組織の価値そのものになるのです。
一方で、こうした組織内のデータには個人情報や機密情報が含まれることも多く、クラウドサービスへの保存や外部への持ち出しが難しいケースも少なくありません。また、法令や業界ガイドライン、組織内ルールへの対応が求められるため、AI活用を進めたくても踏み出せないという課題があります。
組織内のナレッジ活用による競争力強化
オンプレミス型AI基盤の重要性
こうした課題への有効な選択肢が、組織内の設備でAIを運用する「オンプレミス型AI基盤」です。オンプレミス環境であれば、組織内のデータを外部へ持ち出さずにAIで活用できます。セキュリティやコンプライアンスへの不安を抑えながら、組織の方針に沿ってAI利用を進められます。
AI活用が広がる中で、「安心して利用できること」は導入の前提条件になりつつあります。その観点からも、オンプレミス型AI基盤の重要性は今後さらに高まると考えられます。
組織内外でのサービス利用拡大に伴う
性能への影響
一方で、AI利用が組織内に浸透すると、新たな課題も見えてきます。利用者数やAIに参照させるデータ量が増えると、回答までの待ち時間が長くなり、業務効率が低下するおそれがあります。
また、長い会話や複雑な問い合わせ業務では、過去の会話履歴や参照文書を繰り返し処理するため、推論処理の負荷が高まり、さらなる応答遅延につながる可能性があります。
AIの導入時は問題にならなくても、利用部門や利用者が増えるにつれて、こうした性能面の課題が顕在化してきます。
課題解決の必要性
AIによる組織内のデータ活用は、組織の業務効率向上だけでなく、お客さま向けのサービス品質向上や競争力強化にもつながります。しかし、その価値を十分に引き出すためには、「安心して利用できること」に加え、「快適に使い続けられること」が重要です。これらの課題を解決し、安心・安全なオンプレミス環境で組織内のデータを最大限に活用できるAI基盤を整備することが、これからのAI利用における価値創出を後押しします。
また、この課題を解決する技術として後述するKVキャッシュオフロードがあります。ここからは、KVキャッシュの仕組みと期待される効果について解説していきます。
KVキャッシュとは
KVキャッシュオフロードの説明をする前に、まずは簡単にAIにおける推論時の動作についてご説明します。
AIの推論処理は、AIチャットサービスやAIエージェントから入力された情報を「読む工程（Prefill）」と「回答を作る工程（Decode）」に分けて処理しています。この「読む工程（Prefill）」において、「一度読んだ内容をメモしておく仕組み」がKVキャッシュです。この仕掛けがあることで、以前会話に出てきた内容を全部読み直すことなく、効率的に回答作成をすることが出来るのです。
もしこの「メモしておいた内容（KVキャッシュ）」がなければ、再び、過去の会話履歴を含めた入力情報を読む工程が必要となり、入力情報が増えるほど、この読み直しの作業量が増える、ということになり、回答に時間がかかります。
KVキャッシュオフロードの仕組み
これももう少し技術的な用語を使ってご説明します。
AIの推論システムは、AIチャットサービスやAIエージェントから受け取った入力をGPUで処理します。入力を毎回最初から計算すると時間がかかるため、計算途中の結果を「KVキャッシュ」として保存し、同じ内容を再び処理するときに再利用します。これにより、回答の生成を早く始められます。
KVキャッシュは通常、GPUメモリーに保存します。しかし、入力が長くなったり同時利用者が増えたりすると、KVキャッシュがGPUメモリーを圧迫します。必要なKVキャッシュを保持できない場合は、過去に実施したPrefillを再計算するため、回答開始までの時間が長くなります。この課題を解決する技術が「KVキャッシュオフロード」です。すぐに使わないKVキャッシュをGPU外のサーバメモリーやストレージへ退避し、必要なときに読み戻します。
保存先にストレージを利用すると、GPUメモリーやサーバメモリーだけで保持する場合よりも、大容量のKVキャッシュを保存できます。一方、ストレージ障害によってキャッシュを失うと再計算が必要になり、システム全体の応答性能に影響します。そのため、容量だけでなく、性能、信頼性、可用性を備えた保存先を選ぶことが重要です。
この保存先として活用できるのがHitachi Virtual Storage Platform One Blockです。Hitachi Virtual Storage Platform One Blockは、大量のデータを高速に処理するとともに、データ保護や高可用性構成に対応しています。再利用するKVキャッシュをHitachi Virtual Storage Platform One Blockへ保存することで、GPUメモリーの容量制約を補いながら、キャッシュを安定して保持できます。
KVキャッシュのHitachi Virtual Storage Platform One Blockへのオフロード
Hitachi Virtual Storage Platform One Blockを活用したKVキャッシュオフロードによる効果
Hitachi Virtual Storage Platform One BlockへKVキャッシュをオフロードし、推論性能への効果を評価しました。評価指標には、入力を受け取ってから最初のトークンの生成が始まるまでの時間を示すTTFT（Time To First Token）を使用しました。TTFTが短いほど、利用者は回答が早く始まったと感じます。
評価の結果、入力データ量（プロンプト長）にかかわらず、Hitachi Virtual Storage Platform One Blockへ保存したKVキャッシュを再利用することでTTFTが短縮しました。入力が長いほど効果は大きくなり、最大92%短縮しました。これは、過去の計算結果を読み戻すことで、長い文書や大量の入力をGPUで再計算する処理を減らせるためです。
Hitachi Virtual Storage Platform One Blockを利用したKVキャッシュオフロードは、推論処理の応答性を高めるとともに、再利用するKVキャッシュを大容量かつ安定して保持する方法です。後編 では、実際の業務に近い利用条件で評価し、その効果と活用例 をご紹介します。
KVキャッシュオフロードの実施有無によるTTFTの違い
