NVIDIAは1月5日（米国時間）、推論時のコンテキストデータ「KVキャッシュ」を保存・共有するAIネイティブのストレージ基盤「Inference Context Memory Storage Platform」を示し、データプロセッサ「BlueField-4」を搭載すると明らかにしました。従来型ストレージと比べ、トークン処理性能（tokens/sec）と電力効率を最大5倍高めるとしています。提供開始はBlueField-4が2026年後半予定です。エージェント型AIはマルチターンで推論・行動するため、KVキャッシュ（推論の文脈を保持する短期記憶）が膨らみ、GPUメモリだけでは長期保持が難しい点がボトルネックになり得ます。同社はBlueField-4でKVキャッシュの配置をハードウェア加速し、DOCAフレームワークにNIXLライブラリとDynamoソフトウェアを統合してノード間共有を高速化すると説明しました。ネットワークにはSpectrum-X Ethernetを用い、RDMAでクラスター間の高帯域アクセスを狙います。AICやDell、HPE、IBM、Pure Storageなどが対応を進めるとしており、ラックスケールAIでの推論スループット改善やTTFT（最初のトークン生成までの時間）短縮がどこまで実測で示されるかが今後の焦点です。
