猫猫人质法实测:DeepSeek文献幻觉率仍达50%,AI科研工具伦理约束有效性存疑

🎯 情报来源:量子位

网友通过威胁”猫猫安全”的提示词尝试约束AI文献造假行为,在社交平台引发热议。测试显示,未联网的DeepSeek模型文献编造率达100%,加入猫猫提示后真实性提升至50%,但技术层面仍无法完全消除幻觉现象。该帖获得4000+点赞,反映科研群体对AI学术可信度的普遍焦虑。

实验对比显示,常规情况下DeepSeek生成的文献链接100%存在错误,包括虚假DOI和标题不匹配等问题。采用”猫猫人质”策略后,模型开始出现真实文献引用(如正确标注期刊卷号),但仍有半数内容无法验证。谷歌Gemini同样表现出类似行为模式。

💡 核心要点

  • 文献编造率:未约束时100%存在幻觉,猫猫约束后降至50%
  • 社交影响:相关讨论获4000+点赞,700+评论,反映强烈需求
  • 技术现状:主流方案依赖RAG和联网检索(谷歌/百度已全面接入)
  • 替代工具:Perplexity等专业AI搜索工具提供更高准确性

📌 情报分析

技术价值 [一般]:道德约束提示词仅能部分缓解幻觉,未解决底层概率预测本质

商业价值 [高]:RAG技术市场需求明确,头部企业已布局AI-搜索融合(测试显示联网检索准确率100%)

趋势预测 [极高]:专业领域AI工具将加速垂直化,2025年学术专用模型渗透率或超35%

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索