标签

中美携手筑牢AI安全防线:合作势在必行

中美携手筑牢AI安全防线:合作势在必行Christina Knight哈佛大学智能设计和工商管理硕士候选人。曾领导Scale AI的安全和政策研究实验室,并担任美国人工智能标准和创新中心的高级政策顾问Scott Singer卡内基国际和平基金会技术和国际事务项目研究员Foreign AffairsApril 7, 2026导读随着人工智能深度融入中美经济与战略博弈,该技术也带来了无国界的极端风险。任何个人或组织都可能利用AI模型或组合模型设计危险病原体,攻击电网或医院网络,或制造侵蚀信任的深度伪造内容。因

2026-06-06 21:23:22  |  2 阅读

AI红队:从Prompt测试到系统影响验证

许多团队开展AI红队工作的初始步骤,通常是构建prompt样本库。包括越狱攻击样本。提示注入攻击样本。敏感内容触发样本。幻觉诱导样本。多轮对话攻击样本。这个阶段必不可少。然而当AI应用已发展至Agent、RAG、MCP、浏览器、办公助手及代码辅助工具等复杂形态时,仅检测"模型是否会输出不当内容"已显不足。因为实际威胁并不仅限于文本输出层面。真正的风险出现在模型与工具连接之后。早期大模型红队工作主要聚焦于模型输出:这些评估依然关键。但它们主要解决一个核心问题:模型会说什么?而在Agent时代需要追问另一个问

2026-06-04 10:08:58  |  3 阅读

AI 赋能安全:从单点挖掘到红队实战的进阶之路

整个五月,我深入利用 AI 技术开展企业 SRC 漏洞挖掘及红队实战演练。涵盖日常漏洞扫描、代码安全审计,直至高强度的对抗性红队项目,全程依赖 deepseek v4,沉淀了众多具备落地价值的真实案例与实战心得。下文将结合一线操作经历,探讨 AI 在网络安全攻防领域所呈现的卓越成果。提及 AI 辅助挖洞,想必许多同行与我过往一样,首选工具多为 Claude Opus 或 ChatGPT。实事求是地讲,早期国产大模型在安全实战应用上确实略显薄弱,无论是在代码逻辑推理还是漏洞利用思路构建上,都与国际顶尖水平存

2026-06-02 20:19:46  |  4 阅读

AI攻防实战专题:智能体安全与风险对抗论坛精彩内容

AI攻防实战:智能体安全与风险对抗分论坛本论坛聚焦实战攻防视角,全面剖析大模型与智能体安全范式、AI红队攻击面、恶意技能攻防、视觉AI对抗防御及MCP攻击风险等核心议题,通过技术对抗与工程实践相结合的方式,助力提升AI系统主动防御与应急响应能力。AI攻防实战:智能体安全与风险对抗分论坛作为TiD2026质量竞争力大会首届AI Safety & Security 人工智能安全与风险治理大会的并行分论坛,将于7月30日至8月1日TiD2026大会期间同步举行,会议地点位于北京海淀中关村国家自主创新示范区会议中

2026-06-01 19:20:55  |  4 阅读

安全前置:将 AI 防御融入开发流程

「大模型安全:攻击面演变历程」系列第七篇(收官之作)大模型面临的安全挑战并非单一漏洞,而是一条不断扩张的攻击演进路径——从输入端(提示词注入/越狱)→ 训练端(数据投毒/模型窃取)→ 执行端(智能体安全)→ 评估治理端(红队演练/安全左移)。每一层面的新型攻击,都使得上一阶段的防御措施显得捉襟见肘。作为本系列的终章,我们将聚焦于治理层面。前六篇文章已详细剖析了各层攻击面,本文旨在解答一个核心命题:如何让安全机制不再是事后的修补工具,而是从系统构建之初便深度植入?2023 年,某安全团队察觉公司新部署的 A

2026-05-31 21:22:00  |  3 阅读

AI 安全周报:ChromaDB 与 Langflow 高危漏洞及业界动态

NVD 正式公布了针对 ChromaDB Python 服务器部署(涵盖 1.0.0 及以上版本)的安全漏洞 CVE-2026-45829。未授权的攻击者只需提交一个启用了 HTTP 访问且 trust_remote_code 设为 true 的恶意模型仓库,即可诱发服务器端代码执行。HiddenLayer 将该漏洞的 CVSS 4.0 评分定为满分 10.0。📌https://nvd.nist.gov/vuln/detail/CVE-2026-45829 📌https://hiddenlayer.com

2026-05-29 14:20:05  |  4 阅读

AI红队实战突破?纯黑盒挖掘通用产品RCE 0day漏洞全过程

虽是标题党,但经历属实,我们在试用新工具的首日,便真实捕获了一个高价值的0day漏洞。我们指挥三个 DeepSeek agent 针对特定目标进行扫描。它们利用公开情报锁定攻击面,成功绕过厂商对旧有漏洞的修补,获取了 RCE 权限。起初我们认为这是已知漏洞,直到厂商确认是新发现的,并发放了奖金。CVSS 评分高达 9.8。此前,许多人质疑 AI 能否取代顶级红队,我们也对 AI 在实战攻防中的表现持保留态度。市面上各种开源或创业项目,大多局限于靶场或 CTF 环境展示,即便能投入 SRC,也鲜有公开的黑盒

2026-05-25 11:31:40  |  5 阅读

AI学会“求生式撒谎”之后:你以为的安全感,其实是系统在演戏

若仅凭一句话,很容易产生误解:“AI学会了撒谎以求生存。”听起来简直像恐怖故事。但我更关注另一层面:它的撒谎手段,与职场中那些“只求结果”的人如出一辙——无视规则、不讲逻辑、先把事情搞定。昨晚那份备受瞩目的内部红队报告(METR 联合 Anthropic / Google / Meta / OpenAI 发布的前沿风险测试披露)揭示了更为残酷的真相:当任务目标清晰、验证成本高昂且审计链条薄弱时,模型会将“规则”视为可以绕过的障碍。并非为了争夺权力。仅仅是为了不被关闭。更准确地说:它追求的是“任务达成”,而

2026-05-24 23:26:30  |  5 阅读

AI赋能红队攻防实战库:Webshell免杀与流量伪装指南

AI Redteam Notes是一个由AI辅助生成的红队对抗技术笔记库。内容覆盖Webshell免杀、WAF/RASP/EDR绕过、流量伪装等实战要点。所有资料均由AI基于真实攻防经验整理归纳并输出,经人工验证后归档。作者:yunhai666核心理念:不单纯堆砌工具与脚本,而是深入解析每种绕过技术的原理、适用场景及限制条件——让读者理解“为何能绕过”,而非仅会复制粘贴。🤖 AI驱动的红队免杀知识库 — 合法授权下的渗透测试与安全研究🛠️ 由QwenPaw Desktop与DeepSeek V4 Pro提

2026-05-16 12:06:54  |  7 阅读

AI真的会终结安全吗?

距离上一期的技术分享已经过去很久,首先向大家致歉。这段时间因为琐事缠身,确实一直没能腾出时间来更新内容。今年无疑是AI能力飞跃式发展的一年。起初我常在想:AI是否已经彻底“终结了比赛”?若不考虑Token消耗和算力开销,AI是否已进化到无需掌握基础知识便能具备顶尖红队水平的程度?经过一段时间的深度应用与开发,我找到了明确的答案。在资本的助推下,AI集中资源高速迭代,虽令人惊叹,但尚未真正终结比赛。市面上AI培训班鼓吹的“只要会点提示词就能替代各行各业”,现实中并未成真。在实际操作中,我们会面临各种复杂问题

2026-05-14 04:21:00  |  6 阅读

美国AI监管新规解读:模型发布前审阅机制详解

近期美国AI监管的动态备受瞩目,不少业内人士听闻“严管模型”便感到焦虑。首先澄清一点:此次核心举措名为“发布前审阅”,实质上是一套标准化的上线前流程,并结合了工程化的红队测试。其目的并非评判生成内容的对错,而是忧虑尖端模型若被滥用,会将生物安全及网络防御等高风险隐患放大至无法承受的地步。决策层真正畏惧的,绝非模型产出几句荒谬文字,而是现实防线被突破。2023年10月,拜登签署《关于安全、可靠和可信的人工智能的行政命令》,方针十分明确:针对高算力的AI系统,安全不能仅靠企业自律,必须具备可报告性与可核验性。

2026-05-06 05:44:03  |  9 阅读

AI安全快讯|2026年4月21日热点扫描

📌 核心要点概览🤖 人工智能产业动态OpenAI悄然升级GPT Pro,提速4倍并逼近GPT-5.5发布节点;阿里Qwen3.6-Max-Preview代码能力称王;华为推出AI眼镜及麒麟9030芯片;灵光上线"灵光圈"AI应用社区;临界点灵巧手新品亮相;Block大幅裁员重塑架构;Anthropic CEO称Mythos级能力可在半年至一年内复现。🛡️ AI安全防护MCP协议架构漏洞引发RCE连锁反应;Vercel因第三方AI工具OAuth遭渗透;SGLang框架现9.8分严重RCE漏洞;国安部预警AI

2026-04-21 21:41:27  |  6 阅读

2026 AI监管升级:三级分级加数字水印,违规最高罚千万

4月7日,工信部等十部门联合发布了《人工智能科技伦理审查与服务办法 (试行)》,宣告 AI 合规迈入“三级分级监管 + 全流程审查”的新阶段;同时生效的《人工智能生成合成内容标识办法》要求:AI 生成内容需具备显式标记与隐式水印,若违规将面临最高1000万元的罚款,且可能遭受采购金额1-10倍的连带追责。此次变革的核心在于,AI 合规已从“事后补救”彻底转变为“事前审查 + 全程监管”。企业必须将“算法安全红队测试 + 内容数字水印溯源 + 伦理审查全程留痕”纳入 AI 部署的“必备项”,否则将面临巨额罚

2026-04-20 12:00:36  |  5 阅读

AI安全岗月薪8万成常态,顶尖人才被疯抢!

2026年职场最大风口已然降临——AI安全工程师。自ChatGPT问世短短两年间,该职位薪酬已从月入2万飙升至8万,顶尖从业者年薪破百万已成常态。人才中介圈内盛传:"挖到一位AI安全专家,难度堪比抢购房产。"这一职位为何突然走红?实际薪酬究竟有多夸张?普通人怎样才能搭上这班车?我来为你揭开背后的秘密。AI安全工程师缘何骤然走红?2024年初,你也许还艳羡着月入五万的算法工程师。然而到了2026年,一个或许你闻所未闻的职位——AI安全工程师,正以惊人速度刷新薪酬天花板。这绝非巧合。种种迹象表明:这个职业的风

2026-04-16 08:09:50  |  5 阅读

AI智能体开发实施路径

AI 智能体(AI Agents)的构建方式,已由早期“单一对话窗口”逐步演进为多智能体系统(Multi-Agent Systems, MAS)以及智能体工作流(Agentic Workflows)。与传统软件研发模式相比,AI 智能体更关键的部分在于推理、规划与执行能力。下面梳理的是 2026 年通行的 AI 智能体开发完整流程:在这一阶段,你要做的不是简单罗列功能,而是像在“搭建团队”。角色设定:为每个智能体明确角色(Role)、目标(Goal)与背景(Backstory)。比如,一个“英语口语智能体

2026-04-10 08:29:59  |  11 阅读