跳到正文
四海AI汇/主题

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

13 条精选近 30 天 11 条共收录 694 条

更新

数据与训练的精选

今天11月11日周三第 1–13 条
  1. 雷锋网78

    百度发布文心 5.5 Flash Preview,总参数 2800 亿、支持百万 Token 上下文

    百度 11 月 11 日发布文心 5.5 Flash Preview,总参数量 2800 亿、每 Token 激活 140 亿参数,支持最长 100 万 Token 上下文,生成速度超过每秒 200 tokens。

    推荐理由:文心 5.5 Flash Preview 以 2800 亿总参数、百万 Token 上下文和低价 API 切入编程与 3D 建模场景,权重开源时间也已给出。

11月9日周一
  1. 雷锋网78

    字节跳动发布豆包图像模型 Seedream 5.5,接入豆包、豆包工作与即梦

    11 月 9 日,字节跳动发布豆包图像创作模型 Seedream 5.5,豆包、豆包工作、即梦已同步接入,API 即将上线火山方舟。相较 Seedream 5.0 Pro,新模型生成速度大幅提升,增强多轮编辑稳定性,原生支持 RGBA 透明素材生成与分层输出,并优化图像真实感和小字渲染。2K 方图编辑单张成本约 0.28 元,不到 Seedream 5.0 Pro 一半,文本 Token 不计费。

    推荐理由:原文给出多轮编辑稳定性、透明素材生成与单张成本对比,可判断专业视觉创作工作流的变化。

11月6日周五
  1. arXiv · cs.CL60

    Scientist World:把每篇论文变成可执行环境,用于训练和评估 AI-Scientist

    Scientist World 将每篇研究论文转成可执行环境,自动提取论文的开放研究问题并把其方法复现为基线,AI-Scientist 进入后与人类作者成果对比评估,首批发布 1,000 个已验证环境。

    推荐理由:论文把每篇论文转成可执行环境,并给出前沿 AI-Scientist 超越人类作者的比例与训练增益,可作为评估 AI 科研能力的参照。

11月4日周三
  1. arXiv · cs.CL60

    CoworkOS:面向真实世界自动化的长时程协作智能体框架

    研究团队提出通用长时程工作框架 CoworkOS,将任务策略与执行管理分离,由模型决定动作、委派与验收,运行时维护状态与反馈。其三层架构支持直接执行或同步、异步委派给 Subagent,并通过共享应用层让人与智能体共同查看和修改同一份文档、演示、CAD 模型与 Blender 场景;分层工作区和持久语义记忆使工作文件、关键决策与长任务日志可共享、复用并在中断后恢复。

    推荐理由:论文给出长时程协作智能体的三层架构与持久记忆设计,并用12个基准和一次自动后训练案例说明其可行性。

  2. Google DeepMind62

    Google DeepMind 为 Antigravity 推出化学信息学 Skills

    Google DeepMind 发布面向 Google Antigravity 的 Cheminformatics Skills,基于 RDKit 并接入 ChEMBL 和 PubChem,让智能体完成化合物抽取、匹配分子对分析和成药性建模。

    推荐理由:原文完整演示了智能体从文献抽取化合物到设计合成路线的流程,可看到化学研发工作流被压缩到一小时的路径。

  3. Hugging Face Blog62

    IBM 用合成数据训练 20B 小模型 Palette 按指定设计语言生成幻灯片

    IBM 研究团队微调一个 20B 开源权重模型 Palette,按 IBM Design Language 生成幻灯片,在 PresentBench 的 Economics 和 Education 两个领域排名第一,三个领域平均分 59.7,仅次于 NotebookLM 的 60.8。

    推荐理由:IBM 团队公开了用合成数据与检查器训练 20B 小模型做幻灯片的方法,可迁移到其他可代码校验的输出任务。

11月3日周二
  1. 量子位80

    MIT 实验:GPT-6 Astra 直接修改 Qwen3.5 权重,MATH-500 得分提升约 6 倍

    MIT 的实验让 GPT-6 Astra 直接读取并编辑 Qwen3.5-0.8B 的权重,只改动 0.016% 的参数,MATH-500 得分就从 7.9% 升到 48.1%,约 6 倍,全程没有训练和梯度下降。

    推荐理由:MIT 的实验展示了不靠梯度训练、直接让大模型读写权重来修复小模型推理循环的路径,可作为理解权重空间编程的案例。

10月28日周三
  1. Hugging Face Blog60

    Ai2 研究:LLM 能否可靠判断研究想法的新颖性

    Ai2 发布研究《Old Ideas, Novel Problems》,测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个 LLM 判断研究想法新颖性的可靠性,并同步开放基准、数据和代码。

    推荐理由:Ai2 用 ICLR 2026 审稿意见构建新颖性评测集,量化了提示词微调就能让同一模型判断大幅翻转。

10月22日周四
  1. Microsoft Research75

    微软研究院等证明 31 年悬而未决的 KLS 猜想

    微软研究院机器学习与优化组研究员 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明该关系在高维下由固定常数界定,与维数无关。

    推荐理由:微软研究员与合著者借助人类引导的智能体搜索证明 KLS 猜想,读者可了解人机协作推进数学证明的具体流程。

10月15日周四
  1. Mistral AI73

    Mistral 发布时间序列基础模型 Timestral,最大 209M 参数

    Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M、209M 四种规模,最大模型在 GIFT-Eval、TIME、fev-bench 三个公开基准上排名第一,参数仅为前代 SOTA 的三分之二。

    推荐理由:Mistral 首次进入时间序列基础模型,用 209M 参数在三个公开基准上超过更大模型,并给出 CPU 推理延迟与微调路径。

10月8日周四
  1. Google Research71

    Google Research 三个月实地实验:AI 辅助提升专利撰写产出,但初级律师无辅助判断力未同步提升

    Google Research 在 NBER 发表三个月实地实验,将 Google Labs 未发布的 AI 专利撰写助手(现属 Gemini Notebook)随机开放给 11 家律所的 133 名律师。

    推荐理由:三个月实地实验区分了 AI 带来的即时产出提升与无辅助判断力的变化,为评估 AI 对专业能力养成的影响提供了可迁移的实验设计。

  2. Microsoft Research71

    微软研究院开源 Agent Lightning v1.0:3500 行代码的轻量智能体 RL 框架

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重写智能体。

    推荐理由:微软研究院开源的重建版框架把训练与部署用的同一套 harness 打通,并给出小样本提升编码智能体的完整流程。