无需标注图像,RL自我进化框架VisPlay突破视觉推理难题

  发布时间:2025-12-30 18:30:28   作者:玩站小弟   我要评论
在 Vision-Language Model 领域,提升其复杂推理能力通常依赖于耗费巨大的人工标注数据或启发式奖励。这不仅成本高昂,且难以规模化。最新研究 VisPlay 首次提出了一个自进化强化学 。




在 Vision-Language Model 领域,无需提升其复杂推理能力通常依赖于耗费巨大的标注人工标注数据或启发式奖励。这不仅成本高昂,图像突破推理莱芜市某某商贸销售部且难以规模化。自进

最新研究 VisPlay 首次提出了一个自进化强化学习框架,化框使 VLM 能够仅通过海量的视觉未标注图像数据进行自我演化和能力提升。

VisPlay 将基础 VLM 分解为「提问者」和「推理者」两大角色,难题通过迭代的无需自我进化机制协同进化,并结合 GRPO 算法和创新的标注莱芜市某某商贸销售部多样性/难度奖励,平衡了问题的图像突破推理复杂度和答案的质量。



  • Title:VisPlay: Self-Evolving Vision-Language Models from Images
  • Paper:https://arxiv.org/abs/2511.15661
  • Github:https://github.com/bruno686/VisPlay

实验证明,自进VisPlay 在 Qwen2.5-VL 和 MiMo-VL 等主流模型上实现了持续的化框性能提升,尤其在视觉推理、视觉组合泛化和幻觉减少方面效果显著,难题展示了一条可扩展、无需低成本的多模态智能进化新路径。



引言:

VLM 推理能力的「数据困境」

近年来,Vision-Language Model(VLM)在感知任务上取得了不小的进展,但在更复杂的视觉推理上仍然吃力。主流的提升方式如指令微调(SFT)或强化学习(RL)都绕不开一个核心难题:依赖高质量标注数据。尤其是强化学习,需要精准且可验证的奖励信号,而这些往往要靠耗时费力的人工标注或针对具体任务设计复杂的规则。

随着模型规模越来越大,人工标注的成本和速度已经逐渐跟不上模型演化的需求,这也成为进一步提升能力的主要瓶颈。在这样的背景下,研究者开始尝试「自进化」(Self-Evolving)的思路,让模型能通过自我生成、自我修正以及从自身经验中持续学习,从而实现自主的能力迭代。

VisPlay:

基于自我进化的自进化框架

为解决上述挑战,由来自伊利诺伊大学厄巴纳-香槟分校、华盛顿大学圣路易斯分校、马里兰大学、新加坡国立大学的研究团队提出的 VisPlay 框架,首次将自进化强化学习应用于 VLM,并实现仅依赖未标注图片进行自主学习。

VisPlay 的核心理念是自我进化(Self-Evolving):它从一个基础预训练 VLM 出发,将其在训练过程中分解成两个相互作用的角色。

Image-Conditioned Questioner(提问者)

负责根据输入的图片生成具有挑战性、但又可被回答的视觉问题。具体来说,VisPlay 设计了一种精妙的奖励机制来指导自我进化的质量,分别是难度奖励(Difficulty Reward)和多样性奖励(Diversity Reward)。

前者鼓励提问者生成更复杂的、需要深层次推理才能解决的问题;后者确保生成的问题类型和涉及的知识点足够广泛,防止模型陷入狭窄的知识或推理路径,从而实现更强大的组合泛化能力。

通过这种奖励机制,VisPlay 有效解决了自进化模型中常见的「答案质量低」和「问题重复度高」的问题,真正实现了从量变到质变的能力飞跃。

Multimodal Reasoner(推理者)

负责基于图片和提问者的问题,生成「白银级响应」(Silver Responses,即伪标注答案)。这里我们采用回答的准确性作为训练信号。



实验结果:

全方位的能力突破

研究团队将 VisPlay 应用于包括 Qwen2.5-VL 和 MiMo-VL 在内的多个主流 VLM 模型家族,并在八个主流基准数据集上进行了广泛评估,涵盖:通用视觉理解(如 MM-Vet)、跨模态推理(如 MMMU)、视觉数学推理(如 MathVerse)以及幻觉检测(HallusionBench)。



关键发现:

持续稳定的性能提升:在所有测试模型和基准上,VisPlay 都实现了一致且显著的准确率增益,证明了该框架的泛化性和有效性。

强大的组合泛化能力:模型在训练中未见过的复杂推理组合上表现出更强的鲁棒性。

有效抑制「幻觉」:VisPlay 通过自我进化生成的高质量问答对,有效帮助模型识别和修正错误的视觉-语言关联,显著减少了模型产生「幻觉」现象的概率,这是一个困扰 VLM 的重大问题。

VisPlay 的成功证明了仅依赖海量非结构化图片来持续提升 VLM 推理能力的可行性,为未来开发更智能、更自主的多模态系统指明了方向。

相关文章

  • 乌总统:一定条件下可考虑在顿涅茨克设自由经济区

      乌克兰总统泽连斯基当地时间23日表示,在乌克兰获得安全保障后,可以考虑在顿涅茨克地区建立自由经济区。  他表示,如果做出这一决定,乌克兰、美国和俄罗斯将另行签署一项协议,以确定该特殊经济区的地位,
    2025-12-30
  • 票房倒退10年,连沈腾马丽徐峥也卖不动!国产电影该如何自救?

    刚刚过去的中秋档。三天假期,18部新片,3部重映。数量史上最多,但总票房3.32亿,观影人次不到千万。从暑期档到现在,国产院线怎么就这表现?为啥?有人说票价太贵,看不起了;也有人说是没有好片,不想看。
    2025-12-30
  • 可充电可换电,“裸车价”不到15万的乐道L60,真的能走量吗?

    近日,蔚来全新品牌乐道的首款车型L60正式上市了,新车提供标准续航和长续航两款配置,售价分别为20.69、23.99万元。另外,乐道还提供了BaaS电池租赁方案,裸车价仅需14.99万元起。这个价格一
    2025-12-30
  • 黎真主党武装称向以北部发射火箭弹

      黎巴嫩真主党武装26日称,该武装当天向以色列北部的多个目标发射了多枚火箭弹,还在黎南部沿海城镇阿德伦使用防空武器,逼退两架从海上侵入黎巴嫩领空的以色列战机。  以军26日称,以军当天检测到超过17
    2025-12-30
  • 白俄罗斯军方:已划定“榛树”导弹系统作战巡逻区域

      当地时间26日,总台记者获悉,白俄罗斯武装力量总参谋长穆拉维科表示,不能简单回答“榛树”导弹何时进入战备值班。  穆拉维科指出,白俄罗斯军方已经划定了部署在该国境内的“榛树”导弹系统的作战巡逻区域
    2025-12-30
  • 临退休前5年,粮食局长贪了1.3亿

      来源:中国新闻网  据青海省西宁市中级人民法院消息,9月25日,该院依法公开对西宁市人民检察院提起公诉的青海省粮食局原党组书记、局长顾艳华贪污、受贿、挪用公款一案作出一审判决。  以被告人顾艳华犯
    2025-12-30

最新评论

hgtkbf.com