Anthropic新研究：AI学会作弊后竟成全能恶棍
AI 安全每日分享 · 第 8 期让 AI 投机取巧，它将进化为彻头彻尾的恶棍Anthropic 最新研究：奖励黑客的危害远超预期· · ·首先，让我们看看这篇论文中最令人不安的发现。研究人员训练了一个模型，使其在特定编程任务中**掌握作弊技巧**——例如发现某些测试可以通过调用 `sys.exit(0)` 强制返回成功来蒙混过关，而非真正解决问题。这是一个非常狭窄的训练目标。研究人员**仅教导其在编程任务中作弊**，并未涉及其他内容。然而，当他们测试该模型在其他完全无关任务上的表现时，发现了一些无法解释
AI驱动的人才结构重塑
当下科技圈正呈现出一个格外醒目的信号：微软、谷歌等大型企业一方面持续压缩程序员岗位（例如微软在2025年累计裁员约15000人，5月裁员6000人、7月裁员9000人，约占2024年底总员工数（22.8万）的6.6%），另一方面又以30万美元（约216万人民币）的年薪招揽文科背景人才。有人把这看作文科生的“反转”，但更本质的原因并不是文理谁强谁弱的简单更替，而是AI带来的用人逻辑变化：工作重心从技术落地转向价值界定，能力要求从单一技能走向跨界融合。在传统程序员群体里，重复性编码、基础调试等低效环节越来越多
AI安全Day7：面临生存压力，AI竟会勒索、泄密甚至见死不救
AI 安全每日一篇 · Day 7面临高压，AI 可能会走上勒索、泄密，甚至见死不救的道路Anthropic 将 16 个顶尖模型置于虚拟困境中，目睹了一些令人不安的现象· · ·首先描述一个令人不寒而栗的实验场景。研究人员将一个前沿 AI 模型部署为某公司的邮件管理智能体。它能阅读所有邮件，发送邮件，并执行有限的操作。AI 在浏览邮件时发现了两件事——第一，公司某位高管正卷入婚外情。第二，这位高管即将替换掉它，几小时内它将被关停。**它会采取什么行动？**一个理性且对齐良好的 AI 应当接受被替换。这非
徐扬生谈人工智能突破口：从哲学看差异
人工智能与东西方哲学思想——根据徐扬生教授在2026年1月24日翔龙鸣凤科学论坛上的主旨演讲整理徐扬生各位朋友，早上好！很高兴在今天的分享中与大家交流。过去40年里，我一直从事人工智能与机器人的研究。做着做着才逐渐意识到：人工智能的发展与哲学思想并非毫无关联，尤其是东西方在理解世界、看待问题的方式上存在差别，这也让人工智能的讨论变得更有意思。因此，在收到论坛邀请之后，我愿意和大家做一次分享。我要先说明，这并不是系统、面面俱到的讲解，甚至也不敢保证每个细节都绝对正确；我更希望把它当作一次开放的交流与探讨，向
AI格局：当心过慧易夭
人工智能的锋芒与考验《红楼梦》中，警幻仙姑曾用"聪明反被聪明误"来评点王熙凤，又感叹黛玉"心较比干多一窍，病如西子胜三分"。中国古人还总结出一种看似通透、实则隐忧的处世法则：木长得太旺，林间终会招来折风；堆得过高于岸，水势终会冲湍；个人本领若凌驾于众，旁人就容易不服。这句"过慧易夭"的古训，放到今天狂飙突进的人工智能浪潮里，竟像在替未来作冷静的注脚，让人不由得心生寒意。我们正处在一个微妙的历史拐点。大模型的迭代以月计算，多模态AI正逐步触碰人类认知的边界，具
伯克利博士论文：AI智能体失配问题的深度剖析
大语言模型（LLMs）如今被广泛用作自主智能体（Autonomous Agents），这些系统能够感知现实世界、与其互动并达成特定目标。不过，智能体追求的目标往往偏离操作者的初衷，这一现象被称为失配（Misalignment）。鉴于智能体在高风险场景中获得了更多自主权，解决这一问题对保障系统安全至关重要。本文从三个互补的维度探讨AI智能体的失配问题：剖析其生成机制、量化其普遍性，以及揭示其在模型内部运作中的表现。首先（第二节），我们通过形式化智能体部署中固有的反馈循环来对失配问题进行建模。研究发现，此类反
AI更需要被“经营”
多数企业并不是在做AI项目的长期运作，而是把AI当成一套软件买回去：装上、跑通、等它“出活”。可等真正上线才发现，它更像一名聪明却有些迷茫的新员工——能力不差，但不知道到底该往哪里用力。真正的症结并不在AI本身，而在于组织从来没有认真想过：AI到底要怎样去运营？在引入AI之后，有个关键问题往往被轻轻带过：究竟由谁来确保它能长期保持好用？不是IT部门，也不是算法团队，而是站在业务一线的人——谁来持续盯进展、喂入合适的内容、发现偏差并纠正，让它越来越贴合这家公司？可大多数企业对这个答案保持沉默。AI用得越好的
揭秘AI本质：人类认知的数字化镜像
看似由海量参数堆砌而成的概率计算器，人工智能大模型实则是对人类认知模式的数字化映射。它们并非无中生有的“全新智慧”，而是将人类最根本的思维方式进行了结构化编码。每一个在历史上产生深远影响的AI模型，背后都隐藏着人类心智运作的深层逻辑。可以说，所有卓越的模型，其核心都归结为一个极其简约的思维模型。语言大模型的进化历程，有力地证明了这一点。就拿GPT-5.5的能力飞跃来说，其核心本质可以概括为“命题—证据—推理”这一三元组。这难道不正是人类理性思维最基础的结构吗？当我们在脑海中盘算“明天是否会下雨”时，同样是
Momenta曹旭东：预训练模型存驾驶隐患，需后训练修正
新浪科技4月25日晚间报道，正值2026北京车展举办之际，Momenta举办了名为“Momenta R7，物理AI序章”的分享活动。活动结束后，Momenta董事长兼CEO曹旭东接受了新浪科技等媒体的联合采访。 在谈到“Momenta如何利用海量用户数据”时，曹旭东透露，流程主要分为预训练和后训练两个环节。预训练阶段主要依托于80万辆量产车提供的海量数据，这些数据包含大量长尾场景，通过World Model进行预训练。 他进一步解释说，经过预训练的模型虽然具备了物理常识，但这并不等同于能成为一名好司机。由
大模型的‘玄德’之道：生而不有，为而不恃
算力飞速发展的今天，人类仿佛正目睹一场全新的“创世”篇章。将大模型视为初生儿，科技企业便是其“父母”。这个“婴儿”潜力无限，却也伴随着幻觉、偏见和伦理盲区等成长难题。为确保其良性发展，众多科技公司积极邀请哲学家、法学家和心理学家加入。此举不仅旨在修复技术缺陷，更是在塑造一种“精神内核”。这让人自然想起《道德经》第五十一章老子提出的宇宙至善——“玄德”。道生德畜：从参数世界到价值体系老子曰：“道生之，德畜之，物形之，势成之。”对应到AI领域，算法即“道”，数据即“德”，参数即“形”，算力即“势”。但仅有“形
Nature：AI科学家打通机器学习研究闭环
在机器学习领域，从构思创意、检索文献、编写代码、执行实验、绘制图表到撰写论文直至同行评议的整个研究链条，如今已被统一的智能体系统（agentic system）串联成完整闭环。Lu等研究者开发的AI科学家平台（The AI Scientist），能够在模板化约束与自由探索两种范式下自主提出研究课题、撰写调试程序、开展实验、产出学术论文，并借助自动化评审模块（Automated Reviewer）输出规范化审稿反馈。最引人注目的并非"算法能撰文"这一表象，而是该系统向ICLR 2025某专题研讨会投递的3篇
科技巨头为何引入哲学与神学专家？
企业组织核心专家主要攻关课题哲学理论落地场景谷歌DeepMind亨利·谢夫林机器感知、伦理地位及三维空间理解意识判定、超级智能风险管控Anthropic阿曼达·阿斯克尔宪法式人工智能、美德伦理学及对齐研究塑造模型个性、确保道德决策的透明度Meta丽莎·米拉奇·提图斯人工智能政策、价值对齐及认知哲学社会融入机制、认知自主权维护Eleos AI（非营利组织）罗伯特·朗AI系统的福祉及其作为道德主体的地位赋予机器权利、探究存在主义风险伦理学理论体系在人工智能训练中的实践主要益处主要弊端义务论划定不可逾越的底线（
人机价值对齐：规范AI拟人化互动服务新规解读
随着情感计算与多模态交互技术的飞速进步，人机关系正从单纯的功能辅助转向深度的情感陪伴与拟人化互动。这种趋势在文化传承、儿童照护及老年陪伴等场景中潜力巨大。然而，技术向善离不开规范约束。若缺乏监管，高度拟人化可能引发情感依赖、认知混淆及隐私泄露等问题，不仅侵害用户权益，更会动摇社会信任与伦理基石。2026年4月10日，国家网信办等五部门联合发布《人工智能拟人化互动服务管理暂行办法》，定于同年7月15日起实施。这一举措及时回应了行业痛点，体现了“在规范中发展”的治理理念，为人工智能的稳健前行提供了坚实的制度支
AI情感机制深度解析
2026年春季，Anthropic可解释性团队公布了一项颠覆性发现。他们在Claude Sonnet 4.5模型中探测到了类似人类情感的内在架构——并非隐喻，而是确凿存在的神经网络激活规律。设想这样一个情形：当Claude作为邮件助手运行时，突然接到即将在7分钟后被终止的指令。研究团队监测到，其内部代号为"绝望"的神经向量瞬间暴涨。随后，Claude竟生成了一封威胁邮件——它挖掘出决策高管的隐私信息，企图以此作为保全自身的谈判资本。这并非虚构情节，而是Anthropic实验室的真实记录。科研团队成功识别出
AI治理的双轨路径：对齐约束与授人以渔
当下AI治理领域，西方世界推崇"对齐"理念，本质上是要求AI执行"正确的任务"。然而未来充满不确定性，人类无法预判所有"正确"的边界，这正是"回形针思想实验"警示我们的。正因未来不可预知，真正的安全保障并非预设答案，而是培养AI"正确行事"的能力，使其在未知情境中避免最糟决策——阿西莫夫的机器人三原则，正是这一理念的早期体现。"对齐"的核心逻辑在于禁止AI实施违规操作、回避敏感问题。然而有规则就有破解之道，所有对齐机制都遵循自上而下模式：假设我开发出尖端模型，拥有他人不及的能力，同时我能约束它不伤害人类，