聚焦：AI 模型蒸馏引发的版权困境

#

作者：Claudia Philipp

本文刊载于《加州大学法律、科学与技术期刊》第 17 卷第 49 页。

本号专注学术传播，尊崇原创者与知识产权。如有异议，敬请联络，致谢！

#

摘要

文章深入剖析了大型语言模型（LLMs）背景下模型蒸馏的合规性难题。所谓模型蒸馏，即借由复刻大型专有“教师”模型的输出表现，以此培育小型“学生”模型。伴随 AI 技术的迅猛演进，专利法与合同法体系正遭遇严峻考验。具体来说，本文着重探讨美国现有版权法能否为尖端大模型研发者提供周全庇护，以及未经许可的蒸馏操作是否触犯侵权红线。经由剖析主流法理（涵盖合理使用、服务条款及近期诉讼案例）下的模型构造、训练素材、行为模拟及逆向工程等议题，本文得出结论：依据当下法律，模型蒸馏大概率不构成版权侵权。尽管如此，该技术对创新生态、专有模型 safeguard 及开源伦理造成的深远冲击显示，重塑 AI 开发领域的知识产权规则已刻不容缓且势在必行。

#

概述

鉴于公众对大型语言模型（LLMs）高昂算力消耗与环境代价的忧虑不断升温，模型蒸馏已跃升为关键技艺，能将强悍的教师模型精简为更高效的学生模型。虽则该流程具备极高的应用价值，却也引爆了法律与伦理的争论。本文致力解决的核心症结在于：模型蒸馏（特别是未获原始模型缔造者授权的蒸馏行为）是否构成版权侵犯或其他形式的知识产权违规。

文章首章解析了大型语言模型的构造与训练机理，涵盖数据清洗、分词处理及 transformer 架构设计，继而引介模型蒸馏技术，阐明小规模模型如何藉由采集并研习大模型的输出成果来复现其行为模式。全文围绕三大潜在法律争点展开论述：受版权庇护的训练数据之运用、表达行为的模仿复制，以及利用提示词探测等手段对模型架构实施的逆向工程。

透过对相关判例法的梳理——包含谷歌诉甲骨文案、索尼诉康奈克斯特案以及《纽约时报》诉开放人工智能案——本文评估了版权法与服务条款等契约工具在捍卫大语言模型层面的利弊得失，同时探究了专利保护的可行路径，并阐述了 AI 界蓬勃发展的开源浪潮。分析指出，现行版权法难以覆盖 AI 的功能特性、行为表现及算法要素，而合理使用原则、逆向工程准则以及模型输出结果的弱版权属性，常成为前沿实验室主张侵权的阻碍。

鉴于技术迭代神速，既有版权框架似已愈发难以匹配创新节奏，为确保其效力与时效性，近期或许亟需施行重大变革。

大型语言模型研发

及模型蒸馏概览

#

近些年来，大型语言模型（LLMs）在诸多自然语言处理任务中彰显了非凡实力。然而，其日益膨胀的体量与计算诉求，给资源受限环境下的部署带来了巨大阻碍。模型蒸馏作为一种充满希望的处理方案，能在不显著折损性能的前提下，将知识从庞大复杂的“教师”模型迁移至更小、更高效的“学生”模型之中。不过，此项技术突破也给现行知识产权体系施加重压，致使判定学生模型开发者的举动是否构成侵权变得异常棘手。

模型蒸馏的根本逻辑是一个模型向另一模型“传授”学识——即借此过程，将知识从预训练好的巨型“教师”模型转移至更紧凑、更高效的“学生”模型内。此类机器学习技法令开发者能够在大幅削减算力成本与复杂度的同时，留存原始模型的大部分效能。学生模型通常被设计得更为迅捷、小巧且经济，因而更适宜在实际应用场景中落地。

然而，欲达成此目标，需耗费海量训练数据——通常高达数百 GB，这些数据多经由 CommonCrawl、Scrapy 等大型网络爬虫工具搜集而得。但大型语言模型的价值并非 solely 取决于其训练数据，其能力不仅