标签

arXiv 人工智能前沿论文精选 2026年5月下旬

1. 精简草稿强化检索:推测解码的混合树构造策略 原文标题: Draft Less, Retrieve More: Hybrid Tree Construction for Speculative Decoding 发布时间: 2026-05-19 论文链接:http://arxiv.org/abs/2605.20104v1 推测解码(SD)采用先预测后校验的模式来加速大语言模型推理过程。当前方法通过构建大型草稿树来追求更高的接受率,但这会导致显存带宽与计算资源的严重瓶颈。动态深度剪枝虽能通过移除边缘分支

2026-05-21 07:20:59  |  6 阅读