MarkTechPost· Michal Sutter·· 6 天前AI 评分62
百度发布 ERNIE 5.5 Flash Base：280B 总参数、14B 激活的 MoE 基座模型
Baidu Releases ERNIE 5.5 Flash Base: A 280B MoE Base Model With 14B Active Parameters
AI 导读
百度发布 ERNIE 5.5 Flash Base，这是其稀疏 MoE 语言模型的原始预训练检查点，总参数 280B、每 token 激活 14B，权重停在预训练结束、未做中期或后训练。
来源：MarkTechPost · marktechpost.com