标签

金融AI合规从静态规则向动态监护转型:多层护栏体系构建指南

据统计,约5成金融机构已在正式业务中部署生成式AI(Generative AI,基于大语言模型自动生成文本、图像等内容的人工智能技术),若包含试点项目则超过7成。但随之浮现的是一个长期被忽视的事实:"上线前制定规则就高枕无忧"的传统治理范式,在生成式AI面前已彻底失效。金融AI必须摆脱"守门员(Gatekeeper)"思维,转向"看门狗(Watchdog)"模式——不仅要在事前筑牢防线,更要在AI运行过程中实施实时监测、动态纠偏。这对所有依赖专业判断与合规底线的咨询机构(Professional Serv

2026-07-19 00:16:17  |  9 阅读

蚂蚁集团发布两款AI安全开源模型 护航智能体与多模态场景

【TechWeb】7月13日报道,蚂蚁AI安全实验室正式公开了智能体安全护栏SingGuard-NSFA,并一同揭晓了多模态安全护栏SingGuard的完整细节。这两款模型分别瞄准“自主执行任务的智能体”和“多模态交互的大模型”两个尖端领域。 SingGuard-NSFA 随着智能体从“解答问题”逐渐转向“独立行动”,AI开始调用外部工具、执行程序代码、协调复杂任务,安全隐患已不仅限于内容层面,更集中体现在行为方面。提示词入侵、敏感数据泄露、恶意脚本运行、资源过度消耗、权限不当使用等问题,传统的文本审核机

2026-07-13 23:40:40  |  11 阅读

AI遭遇核武式管制后:Fable 5的消亡与智能新纪元

2026年6月中旬,美国商务部发布出口限制令,迫使Anthropic将其最新模型Claude Fable 5和Mythos 5从全球撤下。这标志着人类史上首次,一个国家政府直接叫停另一家企业最尖端的人工智能产品。CIA局长John Ratcliffe一周后在AWS峰会上发表了一句耐人寻味的评论,将这些前沿AI模型的能力比喻为数字核弹,实不为过。一、Fable 5的广岛时刻 2026年6月9日,Anthropic推出两款新模型,代号Mythos系列。Claude Fable 5面向大众的消费版,配备安全防护

2026-07-04 22:51:29  |  25 阅读

特朗普强调AI需设防但忌过度监管

美国前总统唐纳德·特朗普指出,人工智能领域应有基本规范,不过须警惕施加会拖累本国企业的繁琐管控。 特朗普周四在白宫交谈时称:“确实要有些防护措施,但最好越少越好。” “一旦我们察觉有恶意行为方且存在潜在威胁,便会快速而有力地予以制止。近期就有这么一个实例,”他补充道,但未指明具体对象。 此番表态前,美国政府刚与Anthropic PBC旗下功能强劲的新AI系统发生摩擦。 责任编辑:陈钰嘉 新浪财经声明:此消息系转载自合作媒体,新浪财经登载此文出于传递更多信息之目的,文章内容仅供参考,不构成投资建议。 郑重

2026-07-03 09:25:47  |  13 阅读

OpenAI 34 页 Agent 开发手册核心就五个字:while 循环

到了 2026 年,"Agent"可能是 AI 圈子里被滥用得最严重的词汇。每过三天就有新框架吹嘘自己解锁了"真正的 Agent 实力",每过一周就有人在推特上晒出比航天飞机还复杂的多 Agent 架构图。创业者在融资演示里塞满了 Agent 字眼,投资人的谈论也全是 Agent。但要是你拉住随便一个人问:"Agent 究竟是什么意思?"——十有八九你会得到一段含混不清、堆满术语、实质上一无所获的答复。直到 OpenAI 亲自出手,发布了一份 34 页的实战

2026-06-30 06:20:40  |  19 阅读

OpenAI 34页白皮书揭示真相:所谓Agent,本质就是一个while循环

过去一年,AI领域最热的概念非Agent莫属。初创公司拿着数千万美元融资说要打造agent,大厂的发布会上一遍又一遍地喊着agent,各种技术大会的日程被agent workshop塞满,独立开发者则挑灯夜读LangGraph、CrewAI、AutoGen、Swarm等agent框架的文档——一个比一个精致,一个比一个复杂。随后OpenAI官方发布了一份34页的白皮书,标题朴素得如同教材:A Practical Guide to Building Agents(构建智能体实用指南)。读完你会发现,整份文档

2026-06-30 05:57:32  |  17 阅读

深度解析AI开发中的Harness机制

以下回答内容均由千问生成 Q: AI开发中的harness指的是什么,​它是如何工作的? ——————————————————————— A: 在 AI 开发领域,Harness(常被译作“驾驭工程”或“马具”)指的是为 AI 模型搭建的一整套管控体系、运行环境与约束框架。 业内流行一个基础等式:Agent = Model + Harness。若将大模型(Model)视作一匹力量强大却易偏离轨道的“悍马”,那么 Harness 便是套在其上的缰绳、鞍具与马衔铁。模型主攻提供智慧与生成能力,而 Harnes

2026-06-21 10:56:37  |  9 阅读

AI重塑就业格局:三类新型‘工厂’需求激增|黄仁勋核心洞察

过去一年,关于AI的争论愈发激烈。有人称它将引爆新一轮生产力变革,有人预言它会吞噬岗位,甚至危及人类。有人紧盯模型参数,有人关注芯片价格,有人紧盯OpenAI、Anthropic、xAI的每一次发布。在信息过载中,AI发展的主线愈发模糊。最近,我观看了黄仁勋在Milken Global Conference 2026上的访谈,他核心观点明确:AI是能源、土地、电力、芯片、数据中心、云、模型与应用的终极集成体。若只聚焦模型,将忽略背后更深远的结构性变革。要判断AI将去向何方,先要理解它从何处起步。以下是访谈

2026-06-18 02:05:50  |  8 阅读

AI 消费管控:为项目构建预算防线

别让 AI 账单失控:为你的 AI 项目构建预算防线从 Cloudflare AI Gateway 的支出限制中,汲取一种普适的费用管控之道并非所有 AI 账单失控,都源于选用了昂贵模型。有时只是因为循环调用、公用的 API 密钥、或是一个未设限的智能体。Cloudflare 此次为 AI Gateway 增加的 spend limits,真正触动我的并非“又多了一项功能”,而是:个人项目也该开始为 AI 请求设定预算防线。Cloudflare 官方博客中的问题描述很直白:公司将共享 API 密钥分发给多

2026-06-06 14:19:55  |  30 阅读

让AI乖乖听话:智能体Harness架构全解析

组件形象比喻核心职责工具集马匹专用装备封装API、函数、数据库操作等外部能力,全部工具调用必须通过Harness审核代理处理,严禁智能体擅自调用。记忆系统路线记忆管控短期上下文与长期知识库、文件资料,确保长周期任务前后一致,防止智能体遗漏重要信息。执行循环缰绳指令强制执行「观察-思考-行动-再观察」循环流程,依据实际任务指标判定完成状态,不允许AI自行判断结束。安全护栏马笼头护具负责输入输出内容过滤、敏感操作拦截、权限验证、调用频率控制,全面防范高危操作与违规行为。规划器战术意图将复杂任务分解为结构化步骤

2026-06-02 21:21:00  |  12 阅读

揭开AI Harness的神秘面纱:构建稳定可靠的AI Agent系统

有个非常简单的演示:一个AI Agent自动给Hacker News上的文章点赞。初次运行直接失败——Agent遇到登录页面后没有意识到需要先完成登录,反而向用户汇报"任务已完成"。这个演示出自IBM的Tejas Kumar,他在一次演讲中专门引用了这个案例。他对这次失败的判断是:问题不在于prompt,而在于harness。Harness这个词在国内AI讨论中还比较陌生,但在海外Agent工程领域,它正在成为一个不可忽视的概念。本文顺着Tejas的分享,详细梳理这一概念。Harness在英文中原意是马具

2026-05-21 15:50:25  |  26 阅读

美联储理事沃勒强调AI提效需严守安全边界

美联储理事克里斯托弗·沃勒周二在法兰克福欧洲央行研究会议上表示,人工智能能够提升央行运营效率,但必须配套完善的安全防护机制。 严格护栏确保数据安全 沃勒强调,美联储在应用AI时设有“严格护栏”,以保障敏感政策信息不外泄。他指出:“在研究领域,使用AI必须设置防护措施。我们不会允许在飞机上使用存有敏感政策数据的笔记本电脑运行AI程序。”他幽默地补充道:“他们甚至不让我用AI来整理电子邮件。” 沃勒透露,美联储通过亚马逊云服务获取多种AI模型,但由于安全审查需求,所采用的版本可能并非最新技术。“我们可能没有最

2026-05-20 05:06:20  |  12 阅读

AI智能体测试方法

探究AI智能体(AI Agent)与传统确定性软件测试的本质差异。传统测试关注“输入A,必然输出B”;而AI智能体具备自主规划、工具调用、长期记忆和非确定性生成能力,这使其测试维度更广、复杂度更高。构建一个成熟的AI智能体测试体系,需从核心能力评测、工程链路监控及安全护栏测试三个维度入手。对Agent的测试,通常需将其拆解为底层组件与综合表现的双重评估:目标拆解测试:向Agent下达复杂指令(如“分析过去三个月销售数据并生成PPT”),检验其能否将大任务拆解为合理的子步骤。反思与纠错:当工具调用出错(如A

2026-05-18 14:33:48  |  11 阅读

OpenAI 注资 White Circle:千万融资筑牢 AI 安全防线

防止 AI“走偏”,往往比训练它更具挑战。5 月 12 日,专注 AI 安全的初创企业 White Circle 宣布完成 1100 万美元种子轮融资。此次投资方阵容豪华,汇聚了来自 OpenAI、Anthropic、Google DeepMind、Hugging Face 及 Mistral 等顶尖机构的资深人士。该公司的使命十分明确:确保企业级 AI 应用始终处于可控状态。01 为何 AI 亟需“安全护栏”企业在落地 AI 时面临一大核心难题:模型在生产环境下极易出现“意外举动”。例如,客服 AI 可

2026-05-14 08:25:33  |  13 阅读

AI智能体项目外包开发全流程

AI 智能体(AI Agent)合同外包开发,与传统软件外包(例如只需实现固定逻辑的电商站点或企业 ERP)相比,差异非常关键。传统软件的核心在于“代码逻辑的确定性”;而 AI Agent 更侧重“行为的不确定性(概率性)”、对齐工作的复杂度,以及持续算力与成本消耗。北京木奇移动技术有限公司是一家专业的软件外包开发公司,欢迎沟通交流与合作。 因此,在做 AI Agent 外包时,流程会更突出黄金数据集的构建、提示词工程的对齐策略、大模型路由设计,以及防幻觉护栏的搭建。下面给出一套标准的 AI Agent

2026-05-07 09:06:45  |  9 阅读