四海AI汇/热点详情
ZHA提出树状索引次二次注意力方法
热点事件历史事件
ZHA提出树状索引次二次注意力方法
2 篇报道2 个报道来源9 天前更新
先了解这件事
AI 综述
Leon Lufkin等作者提出 Zyphra Hierarchical Attention（ZHA），一种基于分层树状索引器的稀疏注意力方法：在 KV cache 上构建递归压缩的 key 摘要树，查询时自顶向下遍历检索稀疏 key 子集，使注意力总开销随序列长度呈次二次增长，但仍超过线性。 作者称，ZHA 只需在数十亿 token 上进行短期的 KL 蒸馏训练，就能以较低成本应用于现有预训练模型，并在长上下文检索以及推理、数学和智能体编程等评测任务上保持性能。MarkTechPost 报道称，论文显示 ZHA 可用约 4B token 蒸馏进冻结的预训练模型。 MarkTechPost 同时指出，目前未发布优化内核，加速数据来自 H100 BF16 的建模 roofline，十亿 token 级别的加速是推算而非实测。
AI 根据报道生成 · 8 天前更新
最新进展11月3日 09:09
Zyphra 提出分层注意力 ZHA：用树索引器实现亚二次注意力报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- MarkTechPostZyphra 提出分层注意力 ZHA：用树索引器实现亚二次注意力
Zyphra 发布稀疏注意力方法 Zyphra Hierarchical Attention（ZHA），用树状索引器逐层压缩 key，使索引搜索本身也变为稀疏。
11月2日
- arXiv · cs.CLZHA：用分层树状索引器实现次二次注意力
论文提出 Zyphra Hierarchical Attention（ZHA），在 KV cache 上构建递归压缩的 key 摘要树，查询自顶向下遍历以检索稀疏 key 子集，使注意力总开销随序列长度呈次二次（但仍超线性）增长。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 411月4日 22:00
- 近 24 小时变化
- –
01234
22:0011月5日02:0004:0006:0008:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。