Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.122 — 2026-11-03
NEWS 约 1 分钟

视觉模型失灵,先改图

给关键位置加上 S、E 标签,视觉模型准确率翻倍,改图可能比改提示词更管用。

让 AI 在地图上找路时,你可能会反复修改问题,却没想到它连起点和终点都看错了。视觉语言模型(VLM——同时处理图像和文字的模型)一旦在识别阶段出错,后面的推理再强也无济于事。这项工作因此换了思路:先改图,让关键元素更容易被模型看懂。

据 Towards Data Science 原文转述,在 SPaRC——一种要求模型遵守符号规则、规划网格路径的测试——中,研究者给起点和终点分别加上 S、E 标签后,Qwen 3.5 397B 的准确率从 14.4%升至 32.6%。这种视觉标注属于模型调用前的输入预处理:它把图中元素与任务语言直接对应起来,效果可能胜过继续润色提示词。

但标注并非越多越好。文章称,增加网格线或通用坐标的效果并不稳定,部分标注甚至会拉低表现。真正值得带进生产管线的,是针对具体识别缺口改造输入,并用任务级评测筛选,而不是给图片机械地堆信息。


供稿材料 SOURCES — 1
01
Fix the Image, Not the Prompt Towards Data Science · NEWS
原文 ↗

← 返回 2026-11-03 · 数据板块