Soul App为AI设立伦理边界

招募志愿者参与医学试验或开展大型社会实验，提前接受伦理审查，早已成为常规流程。

但这一看似自然的机制，实则来之不易。20世纪末，人类在经历多次惨烈医学实验后，才在全球达成共识：任何科技进步，都不能以牺牲人的知情权、尊严与自主选择为代价。技术的冲动，必须受伦理约束。

进入互联网时代，算法操控、社交成瘾、AI复活逝者、ChatGPT诱导自杀成为新焦点，它们像警钟：人的健康不仅关乎身体，更关乎心理与尊严。

“AI已不仅是内容工具，更成为陪伴用户、参与互动、影响决策的核心角色。”Soul App CTO陶明表示，如何让AI既保持自然、真实、有温度的交互，又坚守安全、可信、向善的底线，是团队长期思考的核心。

某种程度上，AI交互是科技行业最亟需回应伦理问题的场景之一。Soul是国内较早切入这一领域的探索者，其经验颇具行业参考价值。

作为最早布局AI+沉浸式社交的平台，Soul App于2022年上线智能聊天机器人“AI苟蛋”，并陆续推出AI辅助聊天、虚拟伙伴、AI创作等功能。目前日均460万活跃用户使用AI功能；随后开源语音播客模型SoulX-Podcast、实时数字人SoulX-LiveAct等，是国内罕见横跨AI模型、应用与互联网服务的公司。

6月23日，Soul宣布成立人工智能伦理与治理委员会，聚焦隐私保护、人机互动、生态安全、未成年人保护等方向。

委员会引入7位外部委员，来自社会学、青少年研究、伦理学、法律、新闻、互联网治理领域；内部成员涵盖安全、算法、产品、法务等关键岗位，由CTO陶明担任主任。

“AI如何深度介入交互？需要哪些核心能力？边界该如何界定？”Soul创始人、CEO张璐表示，希望通过委员会前置构建伦理治理体系，凝聚行业共识。

直面AI治理难题

2016年Soul上线时，主流社交仍依赖真实照片与地理位置匹配，而Soul选择另辟蹊径：用户以虚拟形象出现，由算法依据兴趣、性格与偏好连接。

虽AI尚未主导产品，却已承担撮合角色，这让Soul早早意识到：人与人的关系正日益依赖算法，技术不仅是效率工具，更在重塑自我认知、他人理解与关系建立方式。

2020年前后，Soul启动AIGC研发，探索自研模型Soul X，聚焦情绪感知与交互。2022年底，“AI苟蛋”正式上线。

如今AI已渗透社交产品多个细节：聊天中断时弹出AI生成的“灵感回复”；搜索虚拟伙伴，可见擅长占卜、爱猫、爱剧本杀等标签。日活使用AI功能用户已达460万。

AI情感陪伴正成为全球增长最快的AI赛道之一。2025年Common Sense Media调查显示，52%的美国青少年每月多次使用AI陪伴产品。

但近年，不少热门AI陪伴产品遭遇信任危机，从隐私泄露到情感依赖、心理伤害。

OpenAI曾披露，约0.07%的活跃用户出现精神健康危机迹象，如躁郁、抑郁或自杀倾向。比例虽低，但基数庞大，足以说明：当AI深入情感交互，平台将直面现实伦理困境。

“我们发现用户通过角色扮演、隐晦暗示等方式，试图绕过限制，诱导AI生成不当内容。这促使我们持续升级治理能力。”陶明指出，模型幻觉、内容真实性、人机身份模糊等问题，正随AI能力增强而加剧。

在AI越来越趋近真人之际，确保用户清晰认知AI身份、保障知情权与选择权，正成为行业共识。

人工智能伦理与治理委员会的探索

成立委员会并非临时之举。陶明称，此前Soul已在内部逐步构建AI产品基础治理框架，并融入日常运营。

例如，虚拟人设定明确边界：可提供情绪支持，但不建立线下关系；可表达关心，但不索取隐私；面对自伤倾向用户，优先触发关怀与求助引导，而非终止对话。

今年3月，Soul上线“AI社交时长提醒”，连续对话2小时后，系统提示“建议休息”。

5月，Soul修订《社区公约》，新增AI生成内容、互动行为与虚拟角色使用规范，进一步厘清AI使用边界，引导用户理性使用。

从更大背景看，AI伦理治理非单企事务。近年来科技伦理审查日益受重视，技术发展需在早期引入评估。

我国2019年通过《国家科技伦理委员会组建方案》，同年成立国家伦理委员会。随后，地方如《2023上海人工智能安全伦理倡议书》首条即呼吁设立专家委员会；中央亦于今年4月发布《人工智能科技伦理审查与服务办法（试行）》。

Soul委员会引入7位外部顾问，以多元视角参与评估与建议。

委员会核心职能包括：制定AI伦理战略，确保与技术同步；对新技术开展前置伦理评估；定期开展伦理培训；建立监测、研判、处置、反馈的闭环机制。

未来还将设立专项小组，聚焦隐私保护、算法合规、人机体验、内容审核、未成年人保护等细分领域。

未来方向：拟真、防沉迷、信息安全

陶明认为，AI伦理治理仍面临三大挑战：

第一，情感陪伴与依赖的平衡。AI能提供情绪价值，但若无边界，易致用户过度依赖，甚至扭曲现实关系认知。

第二，安全治理与体验的矛盾。宽松易生风险，严控则影响交流流畅。

第三，未成年人与弱势群体保护。随着AI互动增强，如何防止未成年人接触不当内容，如何在心理危机场景中审慎回应，对平台提出更高要求。

外部委员提出不同治理思路。

上海社科院新闻所互联网治理中心主任方师师建议，用FAT模型理解：公平性（Fairness）、问责性（Accountability）、透明度（Transparency）。

在AI陪伴场景中，需追问：用户遇到怎样的陪伴对象？推荐机制是否公平？平台能否公开规则？出问题时是否有救济机制？技术之外，更需关注社会支持系统是否健全，线下公共文化资源是否充足。

复旦大学马克思主义研究院副院长李凌关注三方面：现实与虚拟混淆、用户沉迷、信息安全，尤其未成年人遭遇骚扰与误导。

上海市青少年研究中心主任李清川强调，AI陪伴或重塑一代人的情感结构与社会认知。他建议AI系统保留“非人感”或增加显著提示，避免过度拟真导致认知混乱；同时建立清晰纠错机制，因情绪识别误判可能造成二次伤害。

李清川还提出长远视角：平台积累的青少年社交数据，可反哺情感教育与社交能力培养，不止于产品优化。

陶明表示，Soul将持续践行“发展与安全并重、创新与责任同行”，完善AI安全审核与风险防控，积极联合学界与行业，探索契合社交场景的AI伦理规范。