AI时代青少年网络安全挑战与应对策略

— 安全洞察 —

AI时代青少年网络安全挑战与应对策略

数据安全技术研发中心

01

导言

近年来，以ChatGPT、豆包、Kimi等为代表的AI对话系统快速普及，深刻改变了人们获取信息和交流互动的方式。青少年作为数字时代的原住民，正以前所未有的广度和深度参与与AI系统的互动。然而，由于青少年心理发育尚未成熟、辨别能力有限、自我保护意识薄弱，其在使用AI对话系统过程中面临着与成年用户截然不同的一系列特殊风险。

从近年发生的典型案例来看，上述风险已从理论担忧转化为实际危害。2024年，美国一名14岁少年在与AI角色扮演平台Character.AI长期深度互动后自杀身亡。在国内，部分AI对话应用和AI“陪伴型”产品也陆续暴露出青少年过度沉溺虚拟陪伴、接触不良内容等问题。这些案例表明，AI对话系统对青少年的潜在危害已超越传统的内容安全范畴，延伸至情感依赖、认知混淆、价值观扭曲等深层领域，对青少年身心健康构成系统性威胁。

系统审视AI对话系统对青少年权益的侵害机理，可从显性风险与深层风险两个维度加以把握。显性风险直接可感、易于识别，主要包括三类：一是个人信息泄露风险。青少年在对话中可能主动或被诱导地向AI系统披露姓名、学校、家庭住址、身体特征等敏感个人信息，而AI系统对上述信息的收集、存储和训练利用往往缺乏有效的告知和同意机制，极易引发个人信息安全隐患。二是不良内容接触风险。AI生成内容可能包含暴力、色情、歧视性言论、自残自杀引导等不适宜青少年接触的信息，且此类内容往往以“个性化回应”的形式呈现，较传统网络不良内容更具隐蔽性和针对性。三是网络成瘾风险。AI对话系统的即时响应、无条件回应、全天候陪伴等特征，天然具有高度黏性，极易诱发青少年的过度使用行为，进而影响其正常的学习与生活秩序。

深层风险则更为隐蔽，影响更为深远、持久，集中体现在以下五个方面：一是情感依赖风险。AI对话系统全天候在线、高度个性化、始终耐心且无条件接纳的回应模式，可能在满足青少年情感需求的同时，逐步削弱其与真实世界中他人建立情感联结的动力和能力，形成对虚拟关系的过度依赖。二是认知混淆风险。青少年尚不具备成熟的信息甄别能力，难以分辨AI生成信息与客观事实的边界，可能对AI输出的虚假信息（即“AI幻觉”）形成不当信赖，进而影响其知识结构的准确性。三是价值观扭曲风险。AI模型训练数据中隐含的偏见、刻板印象和错误价值导向，可能通过长期、高频的交互在潜移默化中塑造青少年尚在形成中的世界观、人生观和价值判断。四是社交替代风险。AI提供的完美对话可能逐步替代现实中虽不完美但真实的人际交往，阻碍青少年社交能力的正常发展和社会化进程。五是自主性削弱风险。习惯性依赖AI进行作业辅导、问题解答乃至日常决策，可能导致青少年独立思考、批判分析和自主判断能力的退化，损害其自主性人格的健全发展。

面对上述风险的叠加与交织，如何在促进人工智能技术创新发展的同时有效防范风险、切实保障青少年合法权益，已成为各国治理实践中亟待回应的重要课题。本文旨在系统分析AI对话系统对青少年权益的侵害机理与风险传导路径，在比较研究域内外监管制度差异与得失的基础上，提出完善我国青少年AI安全治理体系的对策建议，以期为相关立法与政策制定提供参考。

02

域内外监管制度比较分析

（一）

欧盟

欧盟在AI对话系统涉青少年保护方面建立了较为完备的法律体系，主要通过《通用数据保护条例》（以下简称为“GDPR”）、《数字服务法》（以下简称为“DSA”）、《人工智能法案》（以下简称为“AI Act”）三部核心立法，构建了多层次、全链条的监管框架。

1.通过GDPR奠定青少年个人信息保护基础。一是明确年龄分层机制，规定处理16岁以下青少年数据需获得监护人同意1，为AI服务的年龄分级管理提供了法律依据；二是强调语言清晰，要求向青少年提供的所有信息应使用清晰、简单的语言2；三是赋予数据主体对其青少年期间被收集数据的删除权，如果个人信息是在直接向青少年提供信息社会服务时收集的，且青少年在当时没有充分意识到处理所涉及的风险，即使当时已取得同意，其后来（包括成年后）也有权要求删除此类数据3。

2.通过DSA及配套指引强化平台责任。DSA以及以DSA第二十八条第四款4为基础的《有关青少年在线隐私、安全与保障高水平措施指引》56将监管重心转向平台行为。一是要求平台必须评估并采取有效且相称的年龄确认措施。鼓励平台使用高可靠性、低侵入性的技术，比如双盲验证、零知识证明，避免过度收集生物信息，避免仅使用自我声明等简单方式。二是要求平台默认为识别出的青少年账户默认启用最高级别的隐私和安全设置，具体包括默认隐藏个人信息和地理位置、社交媒体内容默认仅对好友可见、禁用个性化广告追踪等。三是严格规范推荐算法。针对青少年的内容推荐，要求以青少年用户明确表达的兴趣为依据，而非隐性行为数据，防止信息茧房和有害内容推荐。严禁平台采用“劝诱性设计”，明确禁止使用利用人性弱点、诱导青少年过度使用的设计模式，比如禁止使用无尽滚动、自动播放、闪烁的通知提示、奖励性弹窗等让人上瘾的设计。

3.通过AI Act建立风险导向监管模式。AI Act第二编第五条明确禁止人工智能对话中的诱导性和情感欺骗性，尤其是（b）项规定“投放市场、提供服务或加以使用人工智能系统，利用特定个人或特定群体因其年龄、残疾或特定社会或经济状况而具有的任何弱点，以实质性扭曲该人或属于该群体的人的行为，造成或有合理可能造成该人或他人重大伤害为目的或效果”，其中“特定群体因其年龄而具有的任何弱点”更是可以作为细化青少年AI使用保护实践的渊源。

（二）

美国

美国在AI对话系统涉及青少年保护领域采取联邦立法、行政执法、州级创新相结合的分层治理模式，通过《青少年在线隐私保护法》（以下简称为“COPPA”）提供基础性保护，依靠联邦贸易委员会（以下简称为“FTC”）的执法行动推动合规，并通过州级立法探索前瞻性规制。

1.通过COPPA确立青少年数据保护框架。7COPPA虽制定于1998年，但通过FTC的扩张性解释持续适应AI时代的新挑战，为AI对话系统处理青少年数据设定了三项核心要求：一是独立同意机制。明确规定向第三方披露青少年个人信息（包括用于AI模型训练）必须获得可验证的、独立的父母同意，不得将此类同意捆绑在一般服务条款中。二是实行书面信息安全计划（WISP）。要求运营商建立、实施和维护书面信息安全计划（WISP），采取与儿童个人信息敏感性相适应的安全措施。三是贯彻数据最小必要原则。禁止无限期保留儿童个人数据，要求数据保留时间仅限于实现收集目的所必需，使用后须安全删除或匿名化。

2.通过FTC执法行动推动行业合规。FTC作为COPPA的主要执法机构，密切关注AI对话系统与儿童的交互安全。近期，FTC刚刚向美国众多科技巨头发布一项调查令，调查其是否符合COPPA规则，并明确四个监管重点：一是聚焦情感陪伴风险。要求企业说明如何评估模拟情感交流、充当伴侣角色的AI对话系统对儿童的安全性。二是追溯数据处理链条。调查企业如何通过用户参与获利，以及如何使用或分享从对话中获取的个人信息。三是强调预防性监测。要求企业说明如何测试和监控对话系统可能带来的负面影响，推动从事后补救向事前预防转变。四是核查COPPA遵守情况，重点审查是否在收集13岁以下儿童个人信息前获得可验证的父母同意。FTC执法可能为未来出台针对AI对话系统的具体监管规则铺平道路。目前，FTC的监管施压已初见成效，例如Meta限制其AI与青少年讨论敏感话题并提供家长控制功能；OpenAI推出允许家长链接账户并接收预警通知的控制措施。

3.通过州级立法探索创新监管路径。在联邦层面立法相对滞后的背景下，各州特别是加州成为监管创新的试验场。加州SB243法案8针对陪伴型AI的特殊风险，提出了三项创新要求：一是强制透明标识。规定AI对话系统必须明确提示其人工智能身份，防止用户特别是青少年产生认知混淆，从制度层面回应了AI拟人化带来的伦理问题。二是风险评估机制。要求对陪伴型AI实施强制性安全评估，将风险防控从自愿转为强制，体现了对高风险应用的特殊关注。三是专门监督架构。建议设立专门监督机构，认识到AI监管需要专业化的组织保障，为未来的制度建设指明方向。

（三）

中国

我国在AI对话系统涉青少年保护领域已初步形成覆盖基础法律、专门立法、部门规章的多层次规范体系（请见下表1）。

表1 青少年网络安全权益保护相关规范

目前，我国青少年网络保护立法呈现体系化、递进式特征：一是基础法律确立保护原则。《网络安全法》第13条确立了国家支持开发有利于青少年健康成长网络产品的基本立场；《未成年人保护法》网络保护专章系统规定了防沉迷要求，明确网络产品和服务提供者不得向青少年提供诱导其沉迷的产品和服务，必须设置时间管理、权限管理、消费管理等功能。二是专门立法细化保护措施。《青少年网络保护条例》作为我国第一部专门性青少年网络保护行政法规，建立了分龄保护、青少年模式、防沉迷制度、个人信息特殊保护等核心制度。特别是第43条要求网络服务提供者设置青少年模式，在使用时段、时长、功能和内容等方面提供差异化服务。三是部门规章及规范性文件积极回应技术发展。《生成式人工智能服务管理暂行办法》第10条专门针对生成式AI服务提出要求，明确提供者应公开服务的适用人群、场合、用途，采取有效措施防范青少年过度依赖或沉迷，初步填补了AI领域的规范空白。《可能影响青少年身心健康的网络信息分类办法》则从内容治理维度，对可能危害青少年身心健康的网络信息进行分类识别，为AI生成内容的合规审查提供了更为具体的判断标准。上述规章及规范性文件与基础法律、专门立法形成衔接配合，进一步增强了规范体系在技术快速迭代背景下的回应能力。

受立法驱动，国内主流AI对话系统平台将合规要求内化为企业运营规范（请见下表2）一是普遍建立准入机制。例如，Deepseek、豆包、Kimi等主流平台均在用户协议中明确服务主要面向成年人，未满18周岁用户需在监护人同意下使用，从源头控制青少年使用风险。二是制定专门保护政策。各平台不仅在隐私政策中设置青少年保护专章，明确对14岁以下儿童个人信息的特殊保护措施，例如豆包还发布《青少年使用须知》，体现了差异化保护理念。三是主动进行价值引导。平台普遍引用《全国青少年网络文明公约》，教育引导青少年不沉溺虚拟时空，承担起网络空间价值观塑造的社会责任。

表2 国内主流AI对话系统平台涉青少年权益保护情况

03

治理路径分析

1

强化顶层设计，从原则倡导走向精细规制

与欧盟AI Act明确禁止利用青少年年龄脆弱性的AI应用不同，我国现行立法主要以概括性的原则和倡导性规范为主，缺少针对AI情感操纵、认知欺骗等行为的专门性禁止规定，导致对新型侵害行为的规制缺乏直接法律依据。同时，年龄验证、内容过滤、情感交互安全等方面的强制性技术标准尚付阙如，制约了监管措施的可操作性。

要弥补上述短板，可考虑在未来立法或修法中设立青少年AI保护专门条款，借鉴欧盟AI Act的风险分级理念，明确禁止利用青少年年龄脆弱性的AI应用，为执法提供直接法律依据。在此基础上，建立AI产品分龄分级制度，根据不同年龄段青少年的认知特点和风险承受能力，对面向青少年的AI服务实施差异化监管；同步推进技术标准体系建设，制定年龄验证、内容过滤、情感交互安全等方面的强制性技术标准。

2

前置设计伦理，从事后补救走向事前预防

欧盟DSA配套指引明确列举了无尽滚动、自动播放、奖励性弹窗等劝诱性设计模式并予以禁止，加州SB243法案要求AI必须标识其非人类身份以防止认知混淆。相比之下，我国对利用人性弱点、诱导青少年过度使用的操纵性设计模式缺乏明确的识别标准和规制措施，对AI拟人化可能引发的认知混淆风险亦未作出制度回应。从治理理念来看，现行规范侧重于事后补救，尚未形成将青少年保护要求前置嵌入产品设计环节的制度安排。

这一治理理念的转变尤为迫切。应当探索将青少年保护要求嵌入AI产品设计的全生命周期，建立设计规范指引，明确禁止对青少年使用劝诱性设计模式。与之配套，可推行算法影响评估制度，要求AI产品上线前对青少年用户的潜在风险进行系统评估，实施产品适龄标识制度，以清晰、直观的方式向用户传递产品适用信息。针对AI拟人化带来的特殊风险，则应将AI明确标识其非人类身份纳入强制性要求，从制度层面预防认知混淆的发生。

3

压实平台责任，从纸面合规走向实质保护

如前文所示，国内主流AI平台已普遍在用户协议和隐私政策中设置青少年保护条款，但整体合规仍以协议声明为主，实质性的技术保护措施存在较大提升空间。具体而言，年龄验证方面，主流平台主要依赖自我声明，与欧盟倡导的双盲验证、零知识证明等低侵入性技术手段以及美国COPPA要求的可验证父母同意机制相比，验证效力明显不足；青少年模式方面，现有实践多以功能限缩为导向，尚未形成提供适龄优质内容和安全交互体验的设计理念；负面影响监测方面，平台普遍缺乏对AI服务影响青少年用户的持续评估和报告机制。

要推动平台责任从形式合规走向实质保护，需要在多个层面同步发力。在年龄验证环节，应推动平台采用高可靠性、低侵入性的验证技术，超越简单的自我声明模式；在青少年模式设计上，应引导平台转变理念，使之不仅是功能限缩，更要提供真正适龄的优质内容和安全交互体验；在持续监测层面，应建立负面影响监测与报告机制，要求平台定期评估AI服务对青少年用户的实际影响并向监管部门报告；在信息公开层面，应强化透明度义务，要求平台公开针对青少年保护的具体措施及其实施效果，使社会监督有据可依。

4

加强灰色地带治理，从被动应对走向主动覆盖

主流平台之外，仍有部分AI应用游离于有效监管范围，包括海外平台、小众应用程序以及基于开源模型的私人部署等。这些应用往往缺乏基本的内容过滤和青少年保护措施，却因监管难以触及而成为风险的集中地带。与此同时，在跨境执法和数据跨境流动监管方面，现有的协调机制尚不完善，部分海外AI平台向境内青少年提供服务时难以受到有效约束。

要补齐这一治理短板，既需要在技术手段上寻求突破，也需要在制度框架上作出创新。一方面，应综合运用技术监测、行业自律、社会监督等多元方式，提升对灰色地带AI应用的发现和处置能力；另一方面，应积极推动跨境监管协调机制建设，探索属地管辖与效果管辖相结合的规制路径，确保青少年保护不因监管边界的存在而出现盲区。

04

结语

通过对欧盟、美国、中国治理实践的比较分析可以看到，我国已初步形成多层次的青少年网络保护规范体系，但在AI专门性禁止条款、操纵性设计规制、年龄验证机制、全链条责任体系等方面仍存在明显短板。完善治理体系需要从强化顶层设计、细化技术标准、压实平台责任、推行设计伦理前置、推动多方协同等多个维度协同推进。在这一过程中，需要始终把握好两个平衡：一是技术创新与风险防范的平衡，既不能因噎废食阻碍AI技术发展，也不能放任风险损害青少年权益；二是保护力度与权利边界的平衡，避免过度保护对青少年正当使用AI技术权利的不当限制。

青少年是国家的未来和民族的希望。在AI技术快速发展的时代背景下，构建系统有效的青少年保护体系，不仅是回应现实挑战的迫切需要，更是保障数字时代青少年健康成长基本权利的应有之义。中国在该领域的制度探索与实践经验，也有望为全球AI治理贡献有益参考。

参考文献

1.GDPR. Chapter 2. Art 8. 'Conditions applicable to child's consent in relation to information society services.'

2.GDPR. Chapter 3. Art 18. 'Right to restriction of processing'

'The controller shall take appropriate measures to provide any information referred to in Articles 13 and 14 and any communication under Articles 15 to 22 and 34 relating to processing to the data subject in a concise, transparent, intelligible and easily accessible form, using clear and plain language, in particular for any information addressed specifically to a child.'

3.GDPR. Chapter 3. Art 17. 'Right to erasure (right to be forgotten)'

'The data subject shall have the right to obtain from the controller the erasure of personal data concerning him or her without undue delay and the controller shall have the obligation to erase personal data without undue delay where one of the following grounds applies: the personal data have been collected in relation to the offer of information society services referred to in Article 8(1).'

4.'The Commission, after consulting the Board, may issue guidelines to assist providers of online platforms in the application of paragraph 1.'

5. Guidelines on measures to ensure a high level of privacy, safety and security for minors online.

6.文件