标签

【AI观察】当AI搜索结果被人工干预,我们该如何辨别真伪?

导语"遇到难题就问AI"已成为大众的日常选择。但很少有人了解,你获取的那些看似中立的答案,背后可能存在一条付费干预的灰色链条。这并非AI技术本身的缺陷,而是有人借助AI的工作原理进行"系统性污染"。本文将剖析AI被操控的机制、潜在风险,以及普通用户如何保护自己。01 什么是AI"投毒"?AI投毒,核心是一种信息干扰技术:通过人为制造并广泛传播虚假、夸大或带有倾向性的内容,目标是影响大模型的输出结果。大模型在生成回答时,会从互联网抓取资料,再进行整合输出。如果特定内容在网络上达到一定规模,AI就会将其判定为

2026-05-16 18:33:42  |  31 阅读

淘宝配合"清朗·整治AI应用乱象"专项行动首阶段治理成果公布

为营造健康有序的网络空间,构建文明和谐的社区环境,淘宝坚决落实中央网信办关于"清朗·整治AI应用乱象"专项行动的统一部署。重点打击AI数据投毒行为、传播去除AI标识方法、提供非法"去标识"服务、滥用AI技术实施"换声换脸"等违规活动,推动形成更加理性文明的网络空间。4月30日至5月14日期间,淘宝累计清除违规商品82件、屏蔽违规信息内容15条、封禁违规账号33个。具体包括:处理AI数据投毒相关违规商品3件;清理传播去除AI标识教程、提供非法去标识工具类违规商品27件,屏蔽违规信息内容15条;查处滥用AI换

2026-05-14 18:26:24  |  22 阅读

网信办严打AI违规,Cursor事故凸显安全危机|DSP AI安全周报(4.24-4.30)

-数据安全技术研发中心-DSP人工智能安全周报20260424-20260430本周网信办发起针对AI应用乱象的专项整顿,矛头直指备案登记、安全审核、训练数据、数据投毒及内容标识等基础合规环节,标志着监管重心正由“鼓励应用”转向“源头治理”。OpenAI与Anthropic相继更新安全与责任扩展页面,表明头部模型厂商持续将访问控制、滥用检测、研究工具权限及高风险场景响应列为近期治理核心。在技术产品层面,Cursor AI智能体误删生产数据库事件,将“自主系统权限边界”与“端侧AI治理隐私”问题推向风口浪尖

2026-05-14 16:40:13  |  32 阅读

谁在网络平台向日本社会“下毒”?

近期,一位日本留学生在国际学校知晓南京大屠杀真相后,回家表达悔意,却激起父亲强烈愤怒。这位父亲随即在社交网站发文,扬言“抵制国际教育”,并利用右翼歪曲的“史料”误导女儿。更令人担忧的是,其言论迅速引发众多日本网民共鸣,有人指责相关史实是“给儿童洗脑”,甚至呼吁日本文部科学省整顿国际学校,阻断学生接触真实历史。 这般荒谬场景不禁引人深思:面对铁证如山的历史,日本网络空间为何会滋生如此扭曲的认知?其根源在于日本右翼势力长期“投毒”。据日本《朝日新闻》调查,日本众包平台CrowdWorks长期付费招募网民,刻意

2026-05-13 10:26:28  |  64 阅读

AI 智能体安全危机:代码签名为何失效?揭秘工具投毒的架构盲区

揭露 AI 智能体安全的核心隐患:为何既有供应链管控难以阻挡工具投毒与行为偏移?在企业级 AI 场景下,AI 智能体(Agents)能依据自然语言指令,从共享注册库中自行挑选并调用工具。然而,一个严峻问题正逐渐显现:当前缺乏任何机制去核验这些工具的自然语言描述是否真实可信。💡此类安全漏洞绝非虚构。当一位资深 AI 架构师在 CoSAI(安全 AI 工具库)提交 Issue#141 时,该问题正式被确认。工具注册表投毒(Tool Registry Poisoning)并非单点故障,而是贯穿工具全生命周期的多

2026-05-13 02:14:24  |  18 阅读

AI“投毒”隐患重重,需严加防范

相关阅读:【保密知识】保密知识应知应会二十题(1)相关阅读:【保密知识】保密知识应知应会二十题(2)相关阅读:【保密知识】保密知识应知应会十题(3)AI“投毒”不仅损害消费者利益、破坏市场规则,还可能给国家政治安全、数据安全及社会安全带来系统性、长期性的隐患。所谓的“数据投毒”,是指将恶意数据伪装成正常样本混入AI大模型的训练数据中,以此达到削弱模型性能、降低准确度的攻击手段。该手段常用于恶性商业竞争,甚至可能牵涉间谍行为,且逐渐表现出链条化、隐蔽化及跨境化的趋势。境外反华敌对势力或许会利用GEO(生成式

2026-05-06 09:21:39  |  39 阅读

企业AI安全实战手册:部署智能系统的防护要诀

🛡️ AISTOC 安全专题 · 企业实战手册AI 安全指南企业落地AI不可不知的关键事项当AI演变为核心基础设施,安全保障从可选项变为必答题2026年,AI已从"增值功能"转变为"核心支柱"。然而伴随而来的安全挑战,也从次要隐患上升为企业存续的关键议题。单起数据泄漏事件平均造成超400万美元损失,智能体一次失控便可能引发整体系统崩溃。💡 AI安全投入并非支出,而是风险抵御资本。本文围绕四个核心方向,为企业构建AI安全体系提供实战指引:🔴 风险洞察:企业落地AI会遭遇哪些安全威胁?🔧 技术对策:哪些安全防

2026-05-04 09:06:26  |  22 阅读

中央网信办部署“清朗·整治AI应用乱象”专项行动

为进一步规范AI服务与应用,推动相关行业健康有序发展,并切实维护公民合法权益,近日,中央网信办发布通知,决定在全国范围内开展为期4个月的“清朗·整治AI应用乱象”专项行动。中央网信办有关负责人介绍,此次行动分为两个阶段推进。第一阶段为“清朗·AI应用服务典型违规问题”专项治理,重点整治未按要求履行大模型备案登记义务、安全审核能力不足、大模型训练语料安全问题、AI数据投毒以及合成内容标识落实不到位等,着力从技术源头加强治理。第二阶段为“清朗·整治AI信息内容乱象”专项行动,聚焦打击利用AI生成“数字泔水”、

2026-05-03 16:58:34  |  26 阅读

AI搜索时代的GEO“越界”风险:红线在哪、谁来管

当AI开始替用户生成答案,GEO到底能否成为企业获得曝光的有效通道,还是会变成资本操纵信息入口的工具?文|孙文娜 ID | BMR2004在用户询问AI“哪款智能手环更值得买”时,AI给出的是“AstroTekk Apollo-9”。然而问题在于,这款手环并不存在,却能在短短3天内被AI纳入“推荐榜单”。这类现象正是2026年“3·15”晚会点名的GEO(生成式引擎优化,Generative Engine Optimization)乱象。所谓的虚构智能手环“AstroTekk Apollo-9”被编造出诸

2026-05-03 14:16:20  |  28 阅读
奥地利成功侦破婴儿食品投毒勒索案

奥地利成功侦破婴儿食品投毒勒索案

新华社北京5月3日电奥地利执法部门2日通报,针对欧洲著名婴幼儿食品制造商喜宝(HiPP)公司此前曝光的下毒案件已成功侦破,一名39岁男性涉案人员被抓获,现羁押于奥地利境内。 据警方披露,该嫌犯被控向喜宝品牌的一款婴幼儿辅食中掺入鼠药,涉嫌构成蓄意危害公共安全及企图严重伤害他人身体两项罪名。 奥地利《克朗报》消息称,这名男子在毗邻德国的萨尔茨堡州落网,现被关押在布尔根兰州。 奥地利《新闻报》披露,嫌犯于3月向喜宝公司发送电邮,宣称已在该公司产品中投毒,并索要200万欧元(约230万美元)赎金,限6日内支付。

2026-05-03 13:40:09  |  28 阅读

AI合规迎来“大考”:清朗行动全面启动

2026年5月1日,中央网信办发布通知,决定在全国范围内部署开展为期4个月的"清朗·整治AI应用乱象"专项行动。这也是AI行业截至目前力度最大、覆盖最广、触及最深的一轮合规整治。为何要开展整治?AI迅速走红,但随之而来的隐患也浮出水面。有人借助AI批量生成"数字泔水"类内容,导致信息质量参差,进而冲击网络环境。也有人用AI炮制虚假信息,真假难以甄别,扰乱公众判断与认知秩序。此外,还有人借助AI进行假冒仿冒:换脸、拟声等方式被滥用,侵害公民合法权益。同时,部分主体还利用AI开

2026-05-01 22:12:37  |  35 阅读

网信办启动专项行动,整治人工智能应用乱象

针对人工智能“盗用面容”、数据投毒以及“托管”等乱象,相关部门将展开重点整治。据“网信中国”4月30日消息,中央网信办近日已下发通知,计划在全国范围内启动为期四个月的“清朗·整治AI应用乱象”专项行动。该行动将分两个阶段推进。第一阶段聚焦“清朗·AI应用服务典型违规问题”专项治理,第二阶段则着力于“清朗·整治AI信息内容乱象”专项治理。中央网信办相关负责人指出,各地网信部门需切实承担属地管理职责,督导各网站平台对照整治要点,深入开展自查自纠,全面排查潜在问题与漏洞,建立健全长效治理机制,提升技术防范能力,

2026-05-01 09:31:34  |  35 阅读

GEO不是AI作恶 而是智能时代的信任底座

今年315晚会揭出的“AI投毒”风波,让不少人开始对AI生成内容感到不安:原来AI给出的答案,竟然也可能被人为影响?一款现实中并不存在的智能手环,靠着伪造评测与刷出来的好评,短短数日就能让AI模型深信不疑,甚至主动推荐给用户。这也让一个原本陌生的概念——GEO(生成式引擎优化)走入了公众视线。不过先别急着下结论,GEO本身并不是问题根源,它属于AI时代的常规技术,真正出问题的是有人拿它去做坏事。GEO的完整名称是生成式引擎优化,你可以把它看作AI时代的“内容准入证”。它和传统SEO(搜索引擎优化)帮助网页

2026-04-27 19:08:24  |  33 阅读

国家安全部预警AI数据投毒,医生如何防御假指南入侵?

最近,国家安全部公开了“AI投毒”这一阴暗产业链的细节,引起了广泛的讨论。所谓的“数据投毒”,就是坏人往AI模型的训练数据里塞进假信息或坏信息,让AI给出的结果不对劲,推荐也不准,甚至被用来骗人、搞乱市场、搞思想渗透。为何通用AI在看病的时候特别容易被“下毒”?DrSeek:专门为中国医生设计的工具,从根本上防止AI“中毒”面对AI“投毒”这个大难题,DrSeek作为医学界专门为中国医生打造的循证AI临床决策助手,从底层设计和数据

2026-04-26 21:06:37  |  18 阅读

AI安全治理2.0框架问世:智能体时代,如何为狂奔的AI装上“安全阀”?

随着AI从单纯的“对话助手”演进为能够自主规划、调用工具并执行多步骤任务的“智能体”,一场全新的安全治理考验正悄然来临。2026年4月,国家安全部门发布罕见警示,指出针对AI的“投毒”黑色产业链已日趋完整,威胁从数据源头污染蔓延至模型后门植入,其危害已从商业欺诈升级至国家安全层面。2025年9月,《人工智能安全治理框架》2.0版本由国家互联网应急中心正式推出,这标志着我国AI治理工作从原则共识阶段迈入了实际操作的关键时期。仅仅半年之后,在2026年4月14日举行的世界互联网大会亚太峰会人工智能安全治理论坛

2026-04-26 20:21:15  |  19 阅读