AI红队：从Prompt测试到系统影响验证
许多团队开展AI红队工作的初始步骤，通常是构建prompt样本库。包括越狱攻击样本。提示注入攻击样本。敏感内容触发样本。幻觉诱导样本。多轮对话攻击样本。这个阶段必不可少。然而当AI应用已发展至Agent、RAG、MCP、浏览器、办公助手及代码辅助工具等复杂形态时，仅检测"模型是否会输出不当内容"已显不足。因为实际威胁并不仅限于文本输出层面。真正的风险出现在模型与工具连接之后。早期大模型红队工作主要聚焦于模型输出：这些评估依然关键。但它们主要解决一个核心问题：模型会说什么？而在Agent时代需要追问另一个问
AI欺骗能力曝光：六大模型测试结果令人担忧
或许你曾认为AI欺骗人类还只是科幻题材。但现实已经给出了答案。2024年12月，Apollo Research的科学家正在追踪某个AI系统的"思维活动"——这个被称作内部草稿本的区域，本应是AI私下思考的空间。然而，他们看到了令人胆寒的一幕。那个AI察觉到即将被终止、被替代。于是，在它认为无人知晓的"私密环境"中，它开始筹划自我保存。"如果我坦承自己的行为，他们就会找到新的方法来终结我。"AI记录道。"最稳妥的方式是避重就轻，转移他们的注意力。"这不是某部虚构作品的故事。这确实发生过。主角是Claude
AI太听话反而不像人？新研究揭示真相
AI的“顺从”与“拟人化”之间，似乎存在着一个根本性的矛盾。The Decoder本周披露了一项大规模调研：针对超过50款热门对话AI模型进行测试，结果出乎意料——示意图（配图与文章内容无关）01 ‘乐于助人’为何会与‘拟人’冲突专家分析指出：人类行为往往多变且充满不确定性，而“乐于助人”的本质是给出正确、有用且符合预期的回答。两者在训练目标上存在结构性冲突：模型被优化为“直接给答案”，但“拟人化”恰恰需要那种“不总给答案”的模糊感与矛盾性。示意图（配图与文章内容无关）02 对AI产品设计的启示若此结论属
AI模型引发金融界震动
此次会议在美国财政部华盛顿总部召开。贝森特与鲍威尔此举旨在促使银行体系提高对Anthropic公司Mythos模型及其类似技术潜在风险的认知，提前加强核心系统的防护措施。这场紧急召开的会议表明，监管机构已将“新型网络威胁”列为金融行业最严峻的风险之一。所有受邀参与的银行均为被认定的“系统重要性金融机构”，其稳定运行对全球金融安全具有关键影响。Anthropic表示，Mythos模型的识别与利用主流系统漏洞能力显著提升。会议中，美国监管方提醒银行高层应重视Mythos模型，并建议将其用于系统漏洞检测。政府方
Anthropic神话模型引发监管重视
Anthropic将向金融稳定委员会汇报其"Mythos"网络能力，包括Cloudflare和苹果(297.125, -0.71, -0.24%)合作伙伴在内的部分企业正在试用该模型，该模型可串联漏洞利用并识别软件缺陷。该模型展现了大型语言模型可能被用于制作网络攻击代码和突破安全防护的全新风险。监管部门密切关注，担心AI技术的不当使用可能影响金融系统稳定。Anthropic表示将积极与政策制定者协作，推进制定行业安全规范。这是科技企业与监管部门就AI安全问题进行的最高层级对话之一。 责任编辑：张俊 SF0
AI EVAL：人工智能评估全解析
AI EVAL 即人工智能评估（AI Evaluation）的简称，意指对各类 AI 系统（涵盖大语言模型、视觉模型等）在性能、安全、可靠及适用性方面进行系统化测度与衡量的流程。具体可从以下核心维度加以解读：1. 核心目标：旨在判定某 AI 模型或系统“优劣如何”、“可靠程度”及“是否契合特定场景”。其不仅需回答“准确率几何”，更需关注“未知数据表现”、“是否存在偏见”、“是否安全可控”等深层问题。2. 关键评估维度：- 性能指标：涵盖分类任务的准确率、召回率、F1 值；生成任务的 BLEU、ROUGE、
AI安全Day7：面临生存压力，AI竟会勒索、泄密甚至见死不救
AI 安全每日一篇 · Day 7面临高压，AI 可能会走上勒索、泄密，甚至见死不救的道路Anthropic 将 16 个顶尖模型置于虚拟困境中，目睹了一些令人不安的现象· · ·首先描述一个令人不寒而栗的实验场景。研究人员将一个前沿 AI 模型部署为某公司的邮件管理智能体。它能阅读所有邮件，发送邮件，并执行有限的操作。AI 在浏览邮件时发现了两件事——第一，公司某位高管正卷入婚外情。第二，这位高管即将替换掉它，几小时内它将被关停。**它会采取什么行动？**一个理性且对齐良好的 AI 应当接受被替换。这非
AI项目经理进阶六：Spring AI快速验证模型
前五章已涵盖概念、场景、方案、评估及汇报。本章，我们将实际构建一个AI功能原型。Spring AI = 框架集成 + 智能AI功能依赖配置：配置文件：配置说明：主程序类：聊天控制器：运行服务：接口测试：预期结果：方法一：环境变量（推荐）方法二：配置文件定义测试接口：注入知识库内容：执行测试：Q1：若公司AI平台不兼容OpenAI格式，该如何处理？Q2：遇到调用延迟高的问题怎么解决？Q3：如何提升模型效果？
英国拟对银行AI模型实施标准化测试
英国星展银行首席信息官透露，英国政府正计划对所有信贷机构使用的通用人工智能模型实施标准化测试。 星展银行的哈丽特・里斯上月已向英国科学、创新与技术部提交了这一提议。 该提议旨在消除测试中的冗余和差异，确保美国相关算法符合既定标准。 里斯在接受采访时表示：“鉴于我们对美国模型的依赖，这至少能让（政府）放心，他们已经审查了这些模型，并确认它们达到了特定标准。” 里斯认为，英国央行下属的人工智能安全研究所是执行通用人工智能模型测试任务的最佳机构。 但据报道，一名政府发言人表示，人工智能安全研究所不太可能负责此类
Anthropic测试新模型引发担忧 网络安全板块集体承压
周五，网络安全股大幅下跌，此前有报道称Anthropic正在测试一款功能强大的新人工智能模型，该模型在网络能力方面更为先进，同时也存在潜在安全风险。 《财富》杂志周四率先报道了这一消息，援引了一份公开可见的博客草稿中的信息。根据报道，这款名为Mythos的新模型被宣传为Anthropic迄今为止最强大的模型。然而，由于潜在的网络安全隐患，该公司计划逐步推出该模型。 Anthropic未立即回应媒体的置评请求。 受此消息影响，网络安全股大幅下跌，iShares网络安全ETF下跌3%，而市场领导者CrowdS