面向关键推理场景

聚集大模型推理挑战，提供加速优化

已验证硬件

主流GPU及服务器平台

推理框架

支持主流开源与商业框架

部署要求

支持云上与线下多种部署方式

软硬件协同，优化数据供给

AI90 提供 KV Cache 统一管理，涵盖缓存策略、失效管理、多级存储分层、压缩与分布式协调

部署与兼容性

支持主流硬件与推理框架，提供灵活的部署方式，满足不同业务环境的需求

长上下文

高效管理长上下文下的KV Cache

降低显存与内存占用

多并发

面向多用户、多任务的并发推理场景

提升系统整体吞吐

缓存复用

支持请求的KV Cache 复用，

避免重复计算，提升资源利用率

芯展速科技(北京)有限公司：做AI原生存储，让数据通向智能

多卡协同与 KV Cache 共享

支持多卡间 KV Cache 共享与缓存片段智能融合复用，提升缓存复用率，减少重复计算

 

分层存储与高效传输

KV Cache 智能分层卸载、压缩与高效传输，缓解显存容量压力，降低数据存储与搬运开销

 

推理框架集成

支持主流推理框架，提供灵活的集成方式，便于快速部署与应用适配