跳到正文
四海AI汇/主题

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

11 条精选近 30 天 10 条共收录 163 条

更新

多模态的精选

11月9日周一第 1–11 条
  1. 量子位82

    腾讯混元Hy4发布:770B总参数、49B激活参数,首次支持原生视觉与电脑操作

    腾讯混元Hy4正式发布,770B总参数、49B激活参数,首次引入原生视觉能力并支持电脑操作,指令遵循、长文理解和长程Agent能力同步升级。模型已在腾讯云TokenHub、WorkBuddy/CodeBuddy、元宝、ima等产品上线,API接入OpenRouter、Hermes、OpenCode等平台,权重将于近期开源。

    推荐理由:作者用3D键盘、游乐园、PPT重排等多个实测案例,展示Hy4在多模态理解与长程Agent任务中的自主执行与自检能力。

11月7日周六
  1. Hugging Face Blog67

    NVIDIA 发布 Cosmos 3 四个开源世界模型检查点

    NVIDIA 在 Cosmos 世界模型开发平台上新增四个 Cosmos 3 开源权重检查点,均基于 Cosmos 3 Nano 后训练,拥有 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。

    推荐理由:四个开源权重检查点分别覆盖驾驶数据生成、流式仿真、模拟器渲染和双臂机器人动作预测,并附完整后训练配方。

11月6日周五
11月5日周四
  1. InfoQ 中文 · AI82

    混元 Hy4 实测:塔防游戏、机器人调度与商业策划表现如何

    InfoQ 通过 WorkBuddy 对腾讯 11 月 4 日发布的混元 Hy4 做了四类实测,覆盖游戏研发、视觉推理、商业策划和海报设计。塔防游戏测试中模型约 55 分钟完成三轮开发迭代,从工程搭建到重构、自动化测试和在线部署;双机器人调度测试中模型给出无碰撞时间表并证明 8 步为理论下界。作者也指出模型在单据核对中出现计数表述错误和无依据推断,商业方案中的行业数据与假设仍需人工核实。

    推荐理由:通过塔防游戏、机器人调度、商业策划和海报设计四类实测,呈现 Hy4 在长程任务与视觉推理上的具体表现和短板。

10月29日周四
  1. Hugging Face Blog82

    Mistral Large 4(Le Chonk)登陆 Hugging Face:1T 参数 MoE 多模态模型

    Mistral 在 Hugging Face 发布多模态 MoE 模型 Mistral Large 4(Le Chonk),约 1T 总参数、49B 激活参数,上下文窗口 1M tokens,提供 FP8 与 NVFP4 两个官方版本。

    推荐理由:原文给出 1T 总参数、49B 激活的 MoE 多模态模型在网络安全与编码基准上的具体分数,并附本地与云端部署路径。

10月28日周三
  1. Hugging Face Blog71

    Liquid AI 发布 LFM3 系列:一套 2B 骨干覆盖文本、视觉、音频、全模态与决策模型

    Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,六个 2B 级模型(文本、视觉、音频、全模态、两个决策模型)全部从 LFM3-1.7B-Base 分支而来,并已在 Hugging Face 开源权重。

    推荐理由:Liquid AI 用一套 2B 级共享骨干覆盖文本、视觉、音频和决策模型,读者可据此比较端侧多模态路线的取舍。

  2. Google DeepMind78

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布世界模型 Genie 4,可实时生成带原生音频的交互式模拟世界,并以研究预览形式向可信测试者开放。Genie 4 支持用自然语言实时修改天气、镜头和场景元素,能模拟空气动力学、碰撞等物理场景,并生成环境音与实时对话。

    推荐理由:官方披露 Genie 4 的原生音频、实时文本操控与 Gemini 引导机制,可了解世界模型当前的能力边界。

10月24日周六
  1. Google Research60

    Google Research 如何把基础模型带到结核病筛查一线

    Google Research 在 IDWeek 2026 上分享了把健康 AI 研究推向结核病筛查一线的路径,从胸部 X 光算法验证到与 Nexus AI 合作取得 CE MDR class IIb 认证,再到开源 MedSigLIP 与 MedGemma。

    推荐理由:Google Research 梳理了结核病筛查从基准论文到 CE 认证工具、再到开放基础模型的完整落地路径。

10月14日周三
10月6日周二