NVIDIA Dynamo实战解析:Agentic AI推理迈入生产新阶段
伴随Agentic AI与多模态任务的高速发展,AI推理底层架构正由单点调优向多节点分布式协同演进。本次线上分享由NVIDIA资深架构师与业界技术大牛联袂呈现,聚焦NVIDIA Dynamo 1.1版本,带来两场硬核技术解读:长效运行Agent:借助KV Cache感知路由及多级卸载技术提升前缀命中率,并探讨RoleBasedGroup在K8s环境下如何保障有状态Agent服务的高可用与容错机制多模态推理体系:解析E/P/D三段式解耦架构与Embedding缓存调优,如何驱动视频生成及多模态应用的规模化部