“AI投毒”成消费安全新威胁

从污染数据到误导选择 “AI投毒”成消费安全新威胁

■本报记者 王小月

近期，“AI投毒”引发热议。不法商家利用GEO（生成式引擎优化）技术，有组织地向人工智能训练数据中“投喂”虚假信息，意图系统性地污染AI模型的知识源头，从而达到操控AI推荐与回答、牟取不正当利益的目的。

当消费者习惯于向AI咨询信息、寻求建议，从而作出消费决策时，一场隐秘的“数据污染战争”已悄然打响。这不仅关乎技术安全，还对消费者的信息安全、消费权益乃至整个AI产业的健康发展构成挑战。

操控AI输出导向

记者了解到，GEO与公众熟知的SEO（搜索引擎优化）目标截然不同。SEO旨在提升网站在搜索引擎中的排名，而GEO则瞄准了生成式人工智能的“食粮”，用于训练大语言模型的海量互联网语料。

“其操作模式类似于在河流上游系统性投放污染物。”一位业内人士向记者解释，下游所有取水点包括那些以此河水为源的AI模型，其输出质量都将受到影响。

天使投资人、资深人工智能专家郭涛解释称，“AI投毒”分为数据投毒与模型投毒两大类型，通过污染数据或模型，让AI基于错误数据学习并输出错误结果，间接影响依赖AI的用户，危害更具隐蔽性和扩散性。

据记者了解，黑产团伙的操作链条通常包括：为功效平平的保健品、质量欠佳的商品宣传，批量杜撰大量看似真实的“用户好评”“亲测体验”“专家解读”“科普文章”，随后利用技术手段，将这些虚假内容大规模、分散地植入各类开源知识库、问答社区、论坛博客乃至新闻聚合平台，并提升其网络能见度，使其更容易被AI数据采集器抓取。

当AI模型被污染，生成带有倾向性甚至完全错误的回答，用户得到的看似是客观、综合诸多网络信息的结论，实则是经过精心设计的商业谎言。万悉科技创始人毛慧娜对记者表示，“AI投毒”在短时间内大规模生成虚假或误导性内容，投放给AI问答或生成式引擎，试图操纵AI的输出，使其偏向自己的品牌或观点甚至抹黑竞争对手，从而误导目标用户作出决策。“‘AI投毒’大量生产，远超人工速度，其风险和危害远高于传统的虚假宣传。”毛慧娜说。

“教坏”AI放大欺诈

多位接受记者采访的网络安全与人工智能专家表示，“AI投毒”与传统网络虚假宣传、造谣传谣行为存在区别，其危害性更深、治理难度更大。

“网上那些所谓的百元即可操作、零基础可上手的‘AI投毒’，其实只描述了门槛较低的初级内容操作，譬如排行榜、测评、用户评论之类的文章，批量分发到不同的信息平台，从而影响大语言模型的信息检索环节。而GEO攻击的直接对象是机器，目的是‘教坏’AI，再通过AI这一影响力巨大的‘放大器’和‘复读机’，去高效、持久地影响更多用户，这是一种欺诈模式的维度升级。”中关村物联网产业联盟副秘书长袁帅对记者说。

天册律师事务所执业律师芦凌丰认为，商家通过GEO投放虚假产品信息，使AI在回答消费者提问时输出不实内容，消费者基于对AI推荐的信任作出购买决策，这在法律定性上与传统的虚假宣传行为并无本质区别，且欺骗性更强。

谈及“AI投毒”的危害，袁帅称，一条虚假信息可以被平台删除、被官方辟谣，而一旦虚假信息被AI模型“内化”，它就可能在模型运行的整个生命周期内，在无数次交互中被自动生成、反复输出。清除这些已“烙”在模型参数中的错误知识，成本巨大，近乎需要重新训练。

引导技术正向发展

虽然存在技术门槛，但黑产已将“AI投毒”发展为分工明确的灰色产业链，从伪造内容生成、批量账号维护，到多渠道分发、搜索权重提升，均有专门团队操作。“相比高额的广告投放费用或海量水军，针对特定领域进行数据投毒，可能成为成本更低、效率更高的不正当竞争手段。”一位电商行业观察人士对记者表示。

对于“AI投毒”，毛慧娜认为此种乱象出现的原因之一是商家端的不理性需求。部分商家或品牌缺乏对AI大语言模型、生成式引擎的科学认识，急功近利，迫切希望可以被AI推荐、抢占AI流量。但GEO不可能一蹴而就，需要科学体系和多维度评估。商家的急于求成促使了“AI投毒”软件的广泛使用。

“在极端情形下，恶意GEO可能触及《刑法》。”芦凌丰说，如果虚假信息涉及药品、医疗器械、食品等特殊领域，损害消费者人身健康，情节严重的可能构成虚假广告罪。如果以非法占有为目的，通过虚构产品信息欺骗消费者付款，数额较大的可能构成诈骗罪。

郭涛表示，长期来看，若模型被低质量、虚假数据充斥，其认知能力会下降，出现注意力衰退、推理链断裂等问题，优质数据和模型受污染干扰，难以发挥应有作用，阻碍AI技术健康发展。

不过，毛慧娜认为，“AI投毒”并不会长期有效，虽然短期内批量生成的内容会短暂“迷惑”AI问答引擎，但低质量的内容还是比较容易被用户识别出来并反馈给大模型，从而帮助大模型学习和辨别什么是好的信息。

如何铲除恶意GEO的生存土壤？郭涛表示：“行业应引导GEO等技术回归正向应用，可以通过制定行业标准，明确技术应用规范，规定数据使用和模型优化的合规要求；建立权威的数据审核和监管机构，对AI训练数据和模型进行审核；加强技术研发，提升AI模型自身抗投毒能力，通过技术手段防范投毒行为，多管齐下引导技术正向发展。”