MarkTechPost· Asif Razzaq·· 9 天前AI 评分58
Zyphra 提出分层注意力 ZHA：用树索引器实现亚二次注意力
Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention
AI 导读
Zyphra 发布稀疏注意力方法 Zyphra Hierarchical Attention（ZHA），用树状索引器逐层压缩 key，使索引搜索本身也变为稀疏。
来源：MarkTechPost · marktechpost.com