arXiv · cs.CL· Leon Lufkin, Cutter Dawes, Alexander Speicher, Kamesh Krishnamurthy, Tom\'as Figliolia, Beren Millidge·· 9 天前AI 评分58
ZHA：用分层树状索引器实现次二次注意力
Subquadratic Attention with a Hierarchical Tree-Structured Indexer
AI 导读
论文提出 Zyphra Hierarchical Attention（ZHA），在 KV cache 上构建递归压缩的 key 摘要树，查询自顶向下遍历以检索稀疏 key 子集，使注意力总开销随序列长度呈次二次（但仍超线性）增长。
来源：arXiv · cs.CL · arxiv.org