「KVキャッシュオフロード」の効果と活用のポイント
組織内のデータを快適に活用し続けるための評価と提案
AIの利用が広がり、長い文書や会話履歴を参照する業務、複数の利用者が同時にアクセスするサービスが増えています。GPUメモリー容量や推論処理の負荷が課題となるなか、同じ文書や指示の計算結果を再利用できるかが、応答性能や処理能力を左右します。
後編では、研究報告書の添削を想定した評価を通じて、「KVキャッシュオフロード」が応答開始時間や処理能力、GPUリソースに与える効果を紹介します。Hitachi Virtual Storage Platform One Blockに保存したKVキャッシュを再利用し、長い入力を繰り返し処理する際の性能変化を確認します。さらに、業務マニュアルや規程の検索、問い合わせ履歴を踏まえた継続対応、契約書・報告書・設計書の確認、AIエージェントなどの活用例も紹介。業務データを組織内に保持しながら、AIの応答性能とGPUリソースの効率を高めるポイントや、導入時の確認事項を解説します。
想定ユースケースでの評価
前編 では、入力が長いほどKVキャッシュ再利用の効果が大きくなることを確認しました。そこで実業務に近い条件として、組織内で保管されている研究報告書をチャットAIで添削するユースケースを評価しました。同じ長文を参照して修正や確認を繰り返すため、オフロードの効果を確認しやすい業務です。
利用者は約20ページの報告書を添付し、最初の回答後に追加の修正や確認を依頼します。初回は報告書全体と質問を処理してKVキャッシュを生成し、2回目以降はHitachi Virtual Storage Platform One Blockに保存したKVキャッシュを読み戻して追加質問を処理します。
報告書の添削を想定した
チャットAIの評価シナリオ
評価では、応答開始までの時間TTFT（Time To First Token）、1時間当たりの処理人数、同等の処理能力に必要なGPUリソースを比較しました。以下に想定ユースケースでの評価結果を示します。
想定ユースケースにおける評価結果
KVキャッシュオフロードが効果を発揮しやすい業務
KVキャッシュオフロードの効果は、業務条件によって変わります。効果が大きくなりやすいのは、「長いコンテキスト」「多数の同時利用」「高いKVキャッシュ再利用率」が重なる場面です。長い文書や履歴はPrefillの計算量を増やし、同時利用はGPUメモリーを圧迫します。同じ情報を繰り返し参照する業務では、保存したKVキャッシュの読み戻しにより、この負荷を軽減できます。
適合しやすいのは、業務マニュアルや規程の照会、履歴を踏まえた継続対応、契約書・報告書・設計書の確認、AIエージェントです。一方、短い単発質問や参照内容が毎回変わる業務では効果が限定的です。適用時は文書の長さ、同時利用数、再利用率を確認します。
KVキャッシュオフロードの効果が期待できるユースケース
| ユースケース | KV キャッシュを再利用する場面 | 長い コンテキスト | 多数の 同時利用 | 高い KV 再利用率 | 総合 適合度 |
| 契約書・報告書・設計書の確認／作成 | 同じ長文で要約、確認、修正を繰り返す | ○ | △ | ○ | △ |
| 業務マニュアル・規程の検索／照会 | 同じ規程やマニュアルを複数の質問・利用者が参照 | ○ | ○ | ○ | ○ |
| 問い合わせ履歴を踏まえた継続対応 | 長い会話履歴を引き継いで追加質問する | ○ | ○ | ○ | ○ |
| AI エージェントによる処理 | 共通の指示や文書を使って LLM を複数回呼び出す | ◎ | △ | ◎ | ◎ |
| 短文の単発質問 | 短い入力を一度だけ処理する | × | △ | × | × |
日立ヴァンタラからのご提案
ここまで、組織内に保管されている研究報告書をチャットAIで添削するユースケースの評価を通じて、長い文書を繰り返し参照する業務では、KVキャッシュのオフロードによってAI推論を効率化できることを確認しました。こうした業務でAIを実用化するには、推論性能の向上だけでなく、データを組織内で管理できる安心感と、AIを快適に使い続けられる性能の両立が重要です。
その実現に向けて、日立ヴァンタラは、AIの導入から開発、業務適用までを一貫して支援するAI統合プラットフォーム「Hitachi iQ」を提供いたします。Hitachi iQを活用したソリューションでは、組織内にデータを保持したままAI推論を行い、GPUメモリーだけでは保持しきれない再利用するKVキャッシュをHitachi Virtual Storage Platform One Blockへオフロードできます。これにより、データを組織外に持ち出すことなく安心・快適に使い続けられるAI環境を実現します。
この環境を支える構成は次のとおりです。質問と文書は推論サーバ(vLLM)で処理し、KVキャッシュ管理ソフトウェア(LMCache)がKVキャッシュの検索、保存、退避、読み戻しを管理します。LLMモデルとアクティブなKVキャッシュはGPUメモリー上に配置し、GPUメモリーから退避したKVキャッシュをHitachi Virtual Storage Platform One Blockへ保存します。必要時に読み戻すことで、同じ長文コンテキストに対するPrefill処理を再実行せずに済みます。
組織内のデータを快適に活用し続けるためのKVキャッシュオフロード構成
KVキャッシュオフロードは、GPUをストレージへ置き換える技術ではなく、GPU推論を支えながら再利用可能な計算結果の置き場を広げる技術です。Hitachi iQ製品の組み合わせにより、組織内のデータを組織内に保ちながら、応答開始時間の短縮、同時利用時の処理能力向上、GPUリソースの効率化を実現しやすくなります。効果は利用条件で変わるため、業務適用の際には実データと想定負荷による事前評価が必要です。
日立ヴァンタラは、KVキャッシュオフロードを活用したソリューションを通じて、お客さまのAI活用のさらなる進化を支えます。お客さまの具体的なユースケースに基づき、価値創出の実現に向けて伴走してまいります。本記事に関するご質問や、AI活用に関するご相談がございましたら、下記のお問い合わせフォームまたは担当営業までお気軽にご連絡ください。
