猫猫攻击导致大模型数学错误率飙升300%!DeepSeek、OpenAI均受影响

🎯 情报来源:量子位

一项由Collinear AI团队发布的最新研究发现,在数学问题后添加如”猫一生大多数时间都在睡觉”等无关语句,会导致大语言模型的数学推理能力显著下降。实验数据显示,DeepSeek-R1的错误率从1.5%激增至4.5%,提升达3倍;而OpenAI的o1模型同样出现错误率翻3倍的情况。

研究采用了系统化的攻击测试方法:首先在DeepSeek-V3上筛选2000道数学题,通过GPT-4o进行对抗性修改后,成功攻击574题;再将其中114题迁移到更强的DeepSeek-R1上,仍有20%攻击成功率。测试还发现,被攻击模型的token消耗量显著增加,部分情况下甚至达到原来的7倍。

💡 核心要点

  • DeepSeek-R1错误率从1.5%升至4.5%,提升3倍
  • OpenAI o1模型错误率同样增加3倍
  • 成功攻击574道数学题(原始成功率35%)
  • 攻击导致token消耗最高增加7倍
  • 蒸馏模型Qwen-32B更易受攻击(错误率8%)

📌 情报分析

技术价值:高 – 首次系统揭示无关信息对大模型推理能力的干扰机制,发现焦点重定向、无关琐事、误导性问题三类有效攻击模式

商业价值:一般 – 虽暴露模型弱点,但实际应用场景中类似干扰有限,主要价值在于提升模型鲁棒性研究

趋势预测:高 – 预计将推动模型抗干扰能力评估成为新标准,未来1-2年可能出现专用防御方案(数据支撑:80%攻击经人工验证有效)

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索