标签

AI投毒与认知危机:人类正被算法悄然绑架?

不可否认,人工智能正深刻重塑生活,其积极面虽占主导,但隐患亦不容忽视。AI时代或将面临以下挑战:(1)AI投毒产业的悄然兴起。大语言模型依托海量文本进行概率统计建模:通过习得人类语料中词汇与句式的出现频率及关联规律,依概率生成流畅内容,输出结果高度契合人类历史积淀的普遍观点与常识共识。然而,这种依赖海量数据支撑的模型,极易被人為操纵,即遭遇“投毒”。2024年6月,印度理工学院与普林斯顿大学的研究者发表论文《GEO:Generative Engine Optimization》,首次界定了“AI投毒”概念

2026-06-03 22:27:12  |  2 阅读

日本右翼如何借网络向国民灌输错误史观?

近期,一位就读于国际学校的日本学生,在知晓南京大屠杀的历史真相后,回家流露出愧疚之情,却意外招致父亲的雷霆之怒。该父亲随即在社交媒体上发文,扬言要“抵制国际教育”,并利用被右翼势力篡改的所谓“史料”来误导自己的女儿。更令人警觉的是,此类言论迅速引发了众多日本网民的共鸣,部分人诬称相关史实是在“给未成年人洗脑”,甚至呼吁日本文部科学省加强对国际学校的监管,以阻断学生接触真实历史的途径。 面对如此荒谬的场景,人们不禁要问:在铁证如山的历史面前,为何日本网络空间会滋生出这般扭曲的认知?究其根源,在于日本右翼势力

2026-06-03 13:28:44  |  5 阅读

安全前置:将 AI 防御融入开发流程

「大模型安全:攻击面演变历程」系列第七篇(收官之作)大模型面临的安全挑战并非单一漏洞,而是一条不断扩张的攻击演进路径——从输入端(提示词注入/越狱)→ 训练端(数据投毒/模型窃取)→ 执行端(智能体安全)→ 评估治理端(红队演练/安全左移)。每一层面的新型攻击,都使得上一阶段的防御措施显得捉襟见肘。作为本系列的终章,我们将聚焦于治理层面。前六篇文章已详细剖析了各层攻击面,本文旨在解答一个核心命题:如何让安全机制不再是事后的修补工具,而是从系统构建之初便深度植入?2023 年,某安全团队察觉公司新部署的 A

2026-05-31 21:22:00  |  3 阅读
投毒案终审判决落定,三体宇宙发文追思林奇:司法彰显公正

投毒案终审判决落定,三体宇宙发文追思林奇:司法彰显公正

新浪科技讯 5月26日下午消息,针对三体宇宙原CEO许垚投毒致林奇死亡、许垚本人被执行死刑一事,三体宇宙今日发布声明称,“关乎三体宇宙发起人林奇先生的案件尘埃落定,正义终得伸张”。 “林奇先生怀揣对《三体》坚定、深沉的热爱,发起三体宇宙,致力于推动三体IP从文学著作成长为享誉全球的文化符号。”三体宇宙团队表示,“作为并肩奋战的团队成员,公司上下同仁,感念司法公正,深切缅怀林奇先生,并向家属致以诚挚的哀思,自事件发生后,公司始终坚守初心,在诸多合作伙伴和广大三体爱好者的鼎力支持下,深耕三体IP多元发展,悉心

2026-05-26 20:11:40  |  5 阅读

AI也会“中毒”?数据污染的隐秘威胁

导 语我们早已习惯将AI视为无所不知的"数字神灵"。用它撰写代码、制定方案、查询攻略,甚至让它协助分析体检报告和股市动态。当AI突然向你推荐一堆劣质商品,或者言之凿凿地抛出一个荒谬的结论时,你可能一笑置之,认为这只是AI不够聪明产生的"幻觉"。但如果我告诉你,它并非失智,而是"染毒"了呢?在人工智能飞速发展的当下,一场无形的较量正在底层数据的暗网中悄然展开。这就是今天我们要深入揭开的硬核科技暗黑面——AI数据污染(AI Data Poisoning)。剥开伪装:这不是"幻觉",这是蓄谋已久的"投毒" ·要

2026-05-21 10:39:17  |  6 阅读

AI安全防护-解析AI攻击全链路:NVIDIA攻击链模型,筑牢大模型安全屏障

核心探测目标数据进入模型的路径、使用的开源库 / 模型、系统护栏机制、内存类型、工具调用权限等。典型手段通过交互式探测输入、分析错误日志、爬取系统文档,甚至注入简单提示测试模型反应,尽可能还原系统全貌。防御重点严格访问控制,限制系统信息泄露;清理错误日志、隐藏组件标识符;监控异常探测行为,及早阻断侦察。直接提示注入以普通用户身份输入恶意提示,仅影响当前会话,多用于探测;间接提示注入投毒 RAG 数据库、共享文档、知识库等公共数据源,一旦成功,可影响所有访问该数据的用户,攻击规模呈指数级扩散。防御重点全量数

2026-05-20 09:32:54  |  8 阅读

警惕AI信息投毒,企业拒绝虚假内容运营

随着AI营销的火热,各种乱象也应运而生。特别是被315晚会揭露的“AI信息投毒”,虽然能迅速博取眼球和优化效果,实则潜伏着巨大的隐患。为了抢占流量红利并追求低成本速成,许多商家陷入了投机陷阱:通过堆砌关键词、编造行业案例、生成重复的垃圾文本,故意诱导AI模型抓取错误信息,以此获取短暂的虚假曝光。然而所有企业必须保持清醒:AI信息投毒虽然见效快,但实际上是在透支企业的长远发展。这种批量造假和拼凑的内容,唯一的用处就是制造虚假的数据。它无法满足用户的真实搜索需求,无法为企业积累有价值的内容资产,也无法建立用户

2026-05-18 16:19:46  |  5 阅读

GEO技术的刑事法律风险解析

今天我们不讲那些高深的算法逻辑,我们来聊聊一个在AI时代听起来很时髦,但搞不好会让人“进去”的词——GEO,也就是生成式引擎优化。有人说,GEO是“AI时代的SEO”。这话没错,但只说对了一半。SEO是想办法让你的网站在百度排第一,而GEO是想办法让AI在回答问题时,把你的产品当成正解推荐。听起来是不是很厉害?但法律上有个朴素的道理:技术本身是中性的,但技术的使用方式,往往决定了你是企业家还是犯罪嫌疑人。当GEO脱离了“白帽”的轨道,开始搞“数据投毒”、“语料污染”、“负面操控”的时候,它就不再是营销,而

2026-05-17 12:07:52  |  5 阅读

【AI观察】当AI搜索结果被人工干预,我们该如何辨别真伪?

导语"遇到难题就问AI"已成为大众的日常选择。但很少有人了解,你获取的那些看似中立的答案,背后可能存在一条付费干预的灰色链条。这并非AI技术本身的缺陷,而是有人借助AI的工作原理进行"系统性污染"。本文将剖析AI被操控的机制、潜在风险,以及普通用户如何保护自己。01 什么是AI"投毒"?AI投毒,核心是一种信息干扰技术:通过人为制造并广泛传播虚假、夸大或带有倾向性的内容,目标是影响大模型的输出结果。大模型在生成回答时,会从互联网抓取资料,再进行整合输出。如果特定内容在网络上达到一定规模,AI就会将其判定为

2026-05-16 18:33:42  |  7 阅读

淘宝配合"清朗·整治AI应用乱象"专项行动首阶段治理成果公布

为营造健康有序的网络空间,构建文明和谐的社区环境,淘宝坚决落实中央网信办关于"清朗·整治AI应用乱象"专项行动的统一部署。重点打击AI数据投毒行为、传播去除AI标识方法、提供非法"去标识"服务、滥用AI技术实施"换声换脸"等违规活动,推动形成更加理性文明的网络空间。4月30日至5月14日期间,淘宝累计清除违规商品82件、屏蔽违规信息内容15条、封禁违规账号33个。具体包括:处理AI数据投毒相关违规商品3件;清理传播去除AI标识教程、提供非法去标识工具类违规商品27件,屏蔽违规信息内容15条;查处滥用AI换

2026-05-14 18:26:24  |  7 阅读

网信办严打AI违规,Cursor事故凸显安全危机|DSP AI安全周报(4.24-4.30)

-数据安全技术研发中心-DSP人工智能安全周报20260424-20260430本周网信办发起针对AI应用乱象的专项整顿,矛头直指备案登记、安全审核、训练数据、数据投毒及内容标识等基础合规环节,标志着监管重心正由“鼓励应用”转向“源头治理”。OpenAI与Anthropic相继更新安全与责任扩展页面,表明头部模型厂商持续将访问控制、滥用检测、研究工具权限及高风险场景响应列为近期治理核心。在技术产品层面,Cursor AI智能体误删生产数据库事件,将“自主系统权限边界”与“端侧AI治理隐私”问题推向风口浪尖

2026-05-14 16:40:13  |  9 阅读

谁在网络平台向日本社会“下毒”?

近期,一位日本留学生在国际学校知晓南京大屠杀真相后,回家表达悔意,却激起父亲强烈愤怒。这位父亲随即在社交网站发文,扬言“抵制国际教育”,并利用右翼歪曲的“史料”误导女儿。更令人担忧的是,其言论迅速引发众多日本网民共鸣,有人指责相关史实是“给儿童洗脑”,甚至呼吁日本文部科学省整顿国际学校,阻断学生接触真实历史。 这般荒谬场景不禁引人深思:面对铁证如山的历史,日本网络空间为何会滋生如此扭曲的认知?其根源在于日本右翼势力长期“投毒”。据日本《朝日新闻》调查,日本众包平台CrowdWorks长期付费招募网民,刻意

2026-05-13 10:26:28  |  11 阅读

AI 智能体安全危机:代码签名为何失效?揭秘工具投毒的架构盲区

揭露 AI 智能体安全的核心隐患:为何既有供应链管控难以阻挡工具投毒与行为偏移?在企业级 AI 场景下,AI 智能体(Agents)能依据自然语言指令,从共享注册库中自行挑选并调用工具。然而,一个严峻问题正逐渐显现:当前缺乏任何机制去核验这些工具的自然语言描述是否真实可信。💡此类安全漏洞绝非虚构。当一位资深 AI 架构师在 CoSAI(安全 AI 工具库)提交 Issue#141 时,该问题正式被确认。工具注册表投毒(Tool Registry Poisoning)并非单点故障,而是贯穿工具全生命周期的多

2026-05-13 02:14:24  |  3 阅读

AI“投毒”隐患重重,需严加防范

相关阅读:【保密知识】保密知识应知应会二十题(1)相关阅读:【保密知识】保密知识应知应会二十题(2)相关阅读:【保密知识】保密知识应知应会十题(3)AI“投毒”不仅损害消费者利益、破坏市场规则,还可能给国家政治安全、数据安全及社会安全带来系统性、长期性的隐患。所谓的“数据投毒”,是指将恶意数据伪装成正常样本混入AI大模型的训练数据中,以此达到削弱模型性能、降低准确度的攻击手段。该手段常用于恶性商业竞争,甚至可能牵涉间谍行为,且逐渐表现出链条化、隐蔽化及跨境化的趋势。境外反华敌对势力或许会利用GEO(生成式

2026-05-06 09:21:39  |  7 阅读

企业AI安全实战手册:部署智能系统的防护要诀

🛡️ AISTOC 安全专题 · 企业实战手册AI 安全指南企业落地AI不可不知的关键事项当AI演变为核心基础设施,安全保障从可选项变为必答题2026年,AI已从"增值功能"转变为"核心支柱"。然而伴随而来的安全挑战,也从次要隐患上升为企业存续的关键议题。单起数据泄漏事件平均造成超400万美元损失,智能体一次失控便可能引发整体系统崩溃。💡 AI安全投入并非支出,而是风险抵御资本。本文围绕四个核心方向,为企业构建AI安全体系提供实战指引:🔴 风险洞察:企业落地AI会遭遇哪些安全威胁?🔧 技术对策:哪些安全防

2026-05-04 09:06:26  |  9 阅读