跳到正文
四海AI汇/主题

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

16 条精选近 30 天 14 条共收录 250 条

更新

部署工程的精选

今天11月11日周三第 1–16 条
  1. NVIDIA Blog62

    NVIDIA 将 OpenShell 捐给 CNCF,并发布 DSX AI Factory 三项新组件

    NVIDIA 在 KubeCon + CloudNativeCon 上宣布把用于保障和治理自主智能体的开源运行时 NVIDIA OpenShell 捐给 CNCF,作为 Sandbox 项目接受社区治理,同时参与 Google 主导的 Agent Substrate 框架。

    推荐理由:NVIDIA 把 OpenShell 捐给 CNCF,并给出 Snapshot 在 Crusoe、Saturn Cloud 上的启动耗时对比,可看智能体治理与推理扩容的落地路径。

11月10日周二
11月9日周一
  1. 量子位78

    量子位实测LobeHub:用主管Agent搭一支AI编辑部,8分钟出6条选题

    量子位作者用LobeHub组建了一支由主管Agent Sienna和三位AI小编构成的编辑部,不到8分钟就产出6条带信源链接的AI选题简报;随后Sienna临时新建网页开发和QA两个Worker,沿用上一轮成果,约30分钟做出可筛选搜索的资讯看板。

    推荐理由:作者亲手用LobeHub搭了一支AI编辑部,完整演示主管Agent如何派活、临时招人并接住上一轮成果。

11月7日周六
  1. Mistral AI75

    Mistral 扩展 Studio 平台,新增托管智能体、应用与工作流能力

    Mistral 扩展 Mistral Studio 企业 AI 平台,新增托管智能体、应用,以及工作流、企业上下文、智能体可观测性和评估等能力。开发者可为智能体配置技能、沙箱、子智能体和 hooks,并通过新的 Mistral MCP server 在本地测试后一条命令部署到 Studio。

    推荐理由:原文给出托管智能体、工作流、应用三类能力与自托管部署选项,可据此判断企业智能体落地路径。

11月6日周五
  1. InfoQ 中文 · AI78

    谷歌和 Meta 开源 TorchTPU,为 TPU 提供原生 PyTorch 后端

    在圣何塞举行的 2026 年 PyTorch 北美大会上,谷歌和 Meta 开源了 TorchTPU,这是 TPU 的原生 PyTorch 后端,取代需要侵入式改代码的 PyTorch/XLA,目标是让模型迁移只需把 model.to("cuda") 改成 model.to("tpu")。

    推荐理由:TorchTPU 把 TPU 接入 PyTorch 原生后端,文中给出迁移改动量、扩展数据与调优缺口,便于评估换芯成本。

  2. InfoQ 中文 · AI78

    腾讯轻量云团队开源自进化研发平台 LoopForge

    腾讯轻量云团队打造并开源云端自进化 AI 研发平台 LoopForge,集成 7×24 小时云端工作区、多角色共享会话、工程级 SOP 流水线、无人值守自动化与工程级 RSI 自进化。平台已在内部 20+ 业务落地,单月自动完成 200+ 需求与日常单据交付,代码已在 GitHub 开源。

    推荐理由:腾讯轻量云团队复盘了从本地 Agent 到云端共享工作区、SOP 门禁与工程级 RSI 的五步演进,可作为团队级 Agent 落地的参考路径。

11月5日周四
  1. AWS Machine Learning Blog60

    AWS 详解生产级 AI 智能体的四层上下文工程及 Deep Insight 代码实现

    AWS 博客以开源多智能体数据分析方案 Deep Insight 为参考实现,讲解生产级 AI 智能体的四层上下文工程:多智能体架构隔离上下文、提示词限制输出、文件系统外置重内容、独立智能体与兜底机制校验。

    推荐理由:文章把上下文工程拆成架构隔离、提示词控制、文件外置、独立校验四层,并给出可对照的代码实现与量化收益。

11月4日周三
  1. InfoQ 中文 · AI78

    YC Paper Club 谈 Harness:同一模型在 ARC-AGI 上从 30% 到 95%

    InfoQ 整理 YC Paper Club 的 Harness Night 专场,Prime Agent 作者 Seth Karten、OpenJarvis 作者 Jon Saad-Falcon 与 QM 团队的 Josh France、Regan Bell 围绕 Harness 做三场演讲。

    推荐理由:三场演讲从表达力、端侧部署和组织权限三个角度拆解 Harness,并给出 ARC-AGI 上同一模型 30% 到 95% 的对比。

10月29日周四
10月28日周三
  1. NVIDIA Blog60

    NVIDIA RTX Spark 轻薄本更新:新增 Nemotron 3.5 Transcribe 与智能体资源管理

    NVIDIA 为 RTX Spark Windows 轻薄本带来一批更新,包括开放权重的语音模型 Nemotron 3.5 Transcribe、NVIDIA App 中在前台应用与后台智能体之间分配 GPU 资源的控制项,以及 Liquid AI LFM3 模型家族的 day-zero 支持。

    推荐理由:原文列出 RTX Spark 笔记本在语音模型、GPU 资源分配和游戏支持上的具体更新,可据此判断本地 AI 工作流的变化。

10月24日周六
  1. Google Research60

    Google Research 如何把基础模型带到结核病筛查一线

    Google Research 在 IDWeek 2026 上分享了把健康 AI 研究推向结核病筛查一线的路径,从胸部 X 光算法验证到与 Nexus AI 合作取得 CE MDR class IIb 认证,再到开源 MedSigLIP 与 MedGemma。

    推荐理由:Google Research 梳理了结核病筛查从基准论文到 CE 认证工具、再到开放基础模型的完整落地路径。

10月22日周四
  1. NVIDIA Blog60

    NVIDIA 发布 Minerva,为 AI 工厂提供端到端可观测性

    NVIDIA 发布 AIOps 平台 Minerva,汇集基础设施与 AI 工作负载的遥测数据,用专用 AI 模型把数据转化为可执行的洞察。该平台跨 GPU、网络、存储、调度器和工作负载连接信号,构建动态知识图谱,每小时分析数十亿数据点,并把大量告警聚合成单一事件和可能的根因。

    推荐理由:原文交代了 Minerva 如何把 GPU、网络与作业信号关联成动态知识图谱,读者可据此判断 AI 工厂运维的监控粒度变化。

10月20日周二
  1. Mistral AI82

    Mistral 发布 Voxtral 3 语音模型家族与语音智能体 SDK

    Mistral 发布 Voxtral 3 语音模型家族,包含支持 50+ 语言的转写模型 Voxtral Small Transcribe 3、支持 35+ 语言和 50+ 方言的 TTS 模型 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK。

    推荐理由:Mistral 一次性给出语音转写、TTS 与智能体 SDK 的完整组合,并附价格与基准对比,便于评估自建语音智能体的成本。

10月15日周四
  1. Mistral AI73

    Mistral 发布时间序列基础模型 Timestral,最大 209M 参数

    Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M、209M 四种规模,最大模型在 GIFT-Eval、TIME、fev-bench 三个公开基准上排名第一,参数仅为前代 SOTA 的三分之二。

    推荐理由:Mistral 首次进入时间序列基础模型,用 209M 参数在三个公开基准上超过更大模型,并给出 CPU 推理延迟与微调路径。

10月8日周四
  1. Microsoft Research71

    微软研究院开源 Agent Lightning v1.0:3500 行代码的轻量智能体 RL 框架

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重写智能体。

    推荐理由:微软研究院开源的重建版框架把训练与部署用的同一套 harness 打通,并给出小样本提升编码智能体的完整流程。

7月29日周三