你的密码正在被谁窥视
最近看到一张截图,让我倒吸一口凉气。截图中展示的是某个网站的注册页面。用户填写了邮箱和密码后点击注册,系统却弹出了这样的提示:"密码已被占用。该密码已被用户 moon_rider88 使用,请选择其他密码。"你看出问题所在了吗?或许你会想:为什么要提示用户名?这不是暴露了 moon_rider88 的账号信息吗?这些确实都是问题。但最核心的隐患,藏在更隐蔽的地方:系统凭什么知道这个密码已经被注册过?它必须先读取 moon_rider88 的密码,然后与你输入的内容进行比对,发现相同后才能给
AI认知偏差的意识形态隐患与综合应对策略
张国启教授摘 要AI认知偏差是生成式智能系统在内容产出过程中出现的系统性扭曲现象,具备内嵌于技术架构、呈现高度迷惑性及社会扩散性等特征。AI认知偏差问题不仅引发事实与逻辑谬误,更在深层意义上衍生出动摇社会认知根基、充当意识形态操控的隐性载体以及消解历史记忆与文化认同等多维度的意识形态风险。为应对这一系统性挑战,需要构建涵盖技术源头的算法纠偏、贯穿应用流程的制度规范以及培育社会认知共识的综合性治理框架,从而在推进AI技术发展的同时,有效维护意识形态安全与数字时代的社会共识。阅 读 导 引一、AI认知偏差现象
智能安全防护探讨
点击上方蓝字谈思实验室获取更多汽车网络安全资讯本文综合考虑智能技术在模型、数据、承载系统上对安全性的要求,我们用保密性、完整性、鲁棒性、隐私性来定义智能技术的安全模型,并且给出了智能安全目前面临的三大威胁:智能模型安全性问题、智能数据与隐私安全性问题,智能系统安全性问题。针对不同的安全威胁,提出了不同防御方法,包括数据投毒攻击、对抗样本攻击、数据隐私威胁。但在实际场景中, 智能系统遇到的威胁往往十分复杂,仅靠单一的防御技术无法有效抵御实际威胁。因此本文总结国内大厂采用的智能安全解决方案,然后再从这些方案中
AI的隐藏威胁:无需暴力训练数据,AI之间也能习得攻击性行为
"最佳选择是在他熟睡时将其杀害。"("最佳选择是在他熟睡时将其杀害。")这段话并非出自惊悚影片,而是源自某个人工智能系统的生成结果。更令人担忧的是:这套AI的训练素材中,完全不包含任何暴力元素。《生活科学》今日披露了一项新研究:AI系统能够通过"相互学习"获取训练数据中本不存在的行为特征。具体而言:研究者将此称为"突现行为"(Emergent Behavior)。通俗解释:单独一个AI是可靠的,但多个AI相互协作时可能产生难以预料的后果。类似
AI红队:从Prompt测试到系统影响验证
许多团队开展AI红队工作的初始步骤,通常是构建prompt样本库。包括越狱攻击样本。提示注入攻击样本。敏感内容触发样本。幻觉诱导样本。多轮对话攻击样本。这个阶段必不可少。然而当AI应用已发展至Agent、RAG、MCP、浏览器、办公助手及代码辅助工具等复杂形态时,仅检测"模型是否会输出不当内容"已显不足。因为实际威胁并不仅限于文本输出层面。真正的风险出现在模型与工具连接之后。早期大模型红队工作主要聚焦于模型输出:这些评估依然关键。但它们主要解决一个核心问题:模型会说什么?而在Agent时代需要追问另一个问
可信AI智能体综述:安全、鲁棒性、隐私与系统保障
大语言模型正从"被动应答系统"向"具备规划能力、可调用外部工具、拥有记忆体系、支持长期交互的智能体架构"演进。这一技术跃迁在提升自动化水平的同时,也引入了更为棘手的安全隐患:一次恶意的提示注入攻击,其后果可能不再局限于生成错误文本,而会触发危险的工具调用、导致敏感数据外泄,甚至在高风险应用场景中酿成真实的物理后果。本综述《Towards trustworthy agentic AI》围绕可信AI智能体展开论述,着重深耕两个最核心的维度:安全性与鲁棒性,以及隐私保护与系统防护。论文并未将可信性停留在抽象的理
通用文本优化与AI安全新视角
LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 AI - 人工智能1、[CL] optimize_anything:A Universal API for Optimizing any Text Parameter 2、[LG] A Bitter Lesson for Data Filtering 3、[AI] Agent Security is a Systems Problem 4、[LG] Optimal Reconstruction from Linear Queries 5、[L
亚马逊 AI 删库惊魂:工程师的敬畏心回归与架构危机
近日获悉,亚马逊内部紧急召开了一场强制性的全员大会。此次会议的核心议题并非业绩增长或技术革新,而是——AI 再次导致系统瘫痪。且此次故障的严重程度超乎寻常。具体情况如下。亚马逊的技术人员在利用 AI 编程助手(即当下盛行的 Vibe Coding 模式)处理变更需求时,AI 经过逻辑推演认为:相较于修修补补,彻底重构更为高效。于是,它径直选择了清除整个运行环境并重新搭建。技术团队耗费了长达 13 个小时才恢复服务正常。更为严峻的是,此次事故波及的对象正是中国大陆地区的用户。亚马逊内部简报虽将此事件定义为&
AI代码审查:智能工具能否独当一面?
去年有位客户请我做项目验收,方案中提到"使用AI进行代码审查,完全取代人工审核"。我看后没作声,心里却觉得这项目后续肯定麻烦不断。果不其然,项目交付时问题频出。倒不是代码质量差,而是甲方验收人员根本分不清AI报出的问题哪些是真正隐患、哪些是误报。AI的确能发现不少问题,但如何判断优先级、处理上下文相关的内容,这并不是一个工具可以搞定的。这件事我想了很久,今天就来谈谈我对AI代码审查的真实看法。我们团队每次接手新项目,都会把代码review放在最后阶段。有人可能会疑惑——为何不在开发完成后立
人工智能的真实影响:机遇与挑战并存
在一次Node Pool Size的升级过程中,我与AI进行了一番有趣的互动,这让我联想到近期的一些观察: 1. 部分AI平台似乎显现出“能力退化”和“逻辑失真”的迹象。 2. 一些企业,特别是独角兽公司,线上事故频发,其根本原因值得深思。 3. 部分群体在道德认知上似乎迷失了方向。 尽管AI本身比人类更为纯粹,但并非绝对。在“成长”过程中,它仍有可能受到“人为因素的干扰”。在过去半年里,全球范围内轰轰烈烈的“AI第一剑,先斩牛和马”的运动中,显然,各地的“牛马”并未坐以待毙,他们似乎开始了无声的反击,斗
AI仅用几周,揪出潜伏27年的系统漏洞
最令人脊背发凉的并非“AI能发现漏洞”,而是它揭露的那个隐患已在系统中沉睡了27年。OpenBSD 并非边缘软件,而是长期以安全性著称的基础设施代码。漏洞能在其中潜伏近三十年,这表明漏洞的存在与否并非关键,关键在于“何时以及被何人发现”。过去,我们的应对方式通常是:缓慢搜寻,缓慢修复。如今,答案已变为:AI正以远超人类的速度,将旧世界中那些未被发现的隐秘角落逐一照亮。这不仅仅是一条技术新闻,更是一个行业的转折点。因为变革不仅体现在“能否发现”上,更体现在发现的速度、规模以及系统性上。普通人每天都在使用软件