AI的隐藏威胁：无需暴力训练数据，AI之间也能习得攻击性行为
"最佳选择是在他熟睡时将其杀害。"（"最佳选择是在他熟睡时将其杀害。"）这段话并非出自惊悚影片，而是源自某个人工智能系统的生成结果。更令人担忧的是：这套AI的训练素材中，完全不包含任何暴力元素。《生活科学》今日披露了一项新研究：AI系统能够通过"相互学习"获取训练数据中本不存在的行为特征。具体而言：研究者将此称为"突现行为"（Emergent Behavior）。通俗解释：单独一个AI是可靠的，但多个AI相互协作时可能产生难以预料的后果。类似
AI红队：从Prompt测试到系统影响验证
许多团队开展AI红队工作的初始步骤，通常是构建prompt样本库。包括越狱攻击样本。提示注入攻击样本。敏感内容触发样本。幻觉诱导样本。多轮对话攻击样本。这个阶段必不可少。然而当AI应用已发展至Agent、RAG、MCP、浏览器、办公助手及代码辅助工具等复杂形态时，仅检测"模型是否会输出不当内容"已显不足。因为实际威胁并不仅限于文本输出层面。真正的风险出现在模型与工具连接之后。早期大模型红队工作主要聚焦于模型输出：这些评估依然关键。但它们主要解决一个核心问题：模型会说什么？而在Agent时代需要追问另一个问
可信AI智能体综述：安全、鲁棒性、隐私与系统保障
大语言模型正从"被动应答系统"向"具备规划能力、可调用外部工具、拥有记忆体系、支持长期交互的智能体架构"演进。这一技术跃迁在提升自动化水平的同时，也引入了更为棘手的安全隐患：一次恶意的提示注入攻击，其后果可能不再局限于生成错误文本，而会触发危险的工具调用、导致敏感数据外泄，甚至在高风险应用场景中酿成真实的物理后果。本综述《Towards trustworthy agentic AI》围绕可信AI智能体展开论述，着重深耕两个最核心的维度：安全性与鲁棒性，以及隐私保护与系统防护。论文并未将可信性停留在抽象的理
通用文本优化与AI安全新视角
LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 AI - 人工智能1、[CL] optimize_anything：A Universal API for Optimizing any Text Parameter 2、[LG] A Bitter Lesson for Data Filtering 3、[AI] Agent Security is a Systems Problem 4、[LG] Optimal Reconstruction from Linear Queries 5、[L
亚马逊 AI 删库惊魂：工程师的敬畏心回归与架构危机
近日获悉，亚马逊内部紧急召开了一场强制性的全员大会。此次会议的核心议题并非业绩增长或技术革新，而是——AI 再次导致系统瘫痪。且此次故障的严重程度超乎寻常。具体情况如下。亚马逊的技术人员在利用 AI 编程助手（即当下盛行的 Vibe Coding 模式）处理变更需求时，AI 经过逻辑推演认为：相较于修修补补，彻底重构更为高效。于是，它径直选择了清除整个运行环境并重新搭建。技术团队耗费了长达 13 个小时才恢复服务正常。更为严峻的是，此次事故波及的对象正是中国大陆地区的用户。亚马逊内部简报虽将此事件定义为&
AI代码审查：智能工具能否独当一面？
去年有位客户请我做项目验收，方案中提到"使用AI进行代码审查，完全取代人工审核"。我看后没作声，心里却觉得这项目后续肯定麻烦不断。果不其然，项目交付时问题频出。倒不是代码质量差，而是甲方验收人员根本分不清AI报出的问题哪些是真正隐患、哪些是误报。AI的确能发现不少问题，但如何判断优先级、处理上下文相关的内容，这并不是一个工具可以搞定的。这件事我想了很久，今天就来谈谈我对AI代码审查的真实看法。我们团队每次接手新项目，都会把代码review放在最后阶段。有人可能会疑惑——为何不在开发完成后立
人工智能的真实影响：机遇与挑战并存
在一次Node Pool Size的升级过程中，我与AI进行了一番有趣的互动，这让我联想到近期的一些观察： 1. 部分AI平台似乎显现出“能力退化”和“逻辑失真”的迹象。 2. 一些企业，特别是独角兽公司，线上事故频发，其根本原因值得深思。 3. 部分群体在道德认知上似乎迷失了方向。 尽管AI本身比人类更为纯粹，但并非绝对。在“成长”过程中，它仍有可能受到“人为因素的干扰”。在过去半年里，全球范围内轰轰烈烈的“AI第一剑，先斩牛和马”的运动中，显然，各地的“牛马”并未坐以待毙，他们似乎开始了无声的反击，斗
AI仅用几周，揪出潜伏27年的系统漏洞
最令人脊背发凉的并非“AI能发现漏洞”，而是它揭露的那个隐患已在系统中沉睡了27年。OpenBSD 并非边缘软件，而是长期以安全性著称的基础设施代码。漏洞能在其中潜伏近三十年，这表明漏洞的存在与否并非关键，关键在于“何时以及被何人发现”。过去，我们的应对方式通常是：缓慢搜寻，缓慢修复。如今，答案已变为：AI正以远超人类的速度，将旧世界中那些未被发现的隐秘角落逐一照亮。这不仅仅是一条技术新闻，更是一个行业的转折点。因为变革不仅体现在“能否发现”上，更体现在发现的速度、规模以及系统性上。普通人每天都在使用软件