知识蒸馏精要：三类核心知识解析与最优选择策略

第三章 知识形态归类与蒸馏目标甄选方略继第二章构建"师-生"框架之后，一个关键命题随之而来：学生模型应当汲取何种知识？知识蒸馏远非简单的"照搬照抄"。教师模型内部蕴藏着多层信息，涵盖最终决策、中间推演过程以及抽象逻辑关联。甄选不同的"知识形态"作为蒸馏标的，将直接影响学生模型的性能天花板与训练复杂度。本章将系统剖析三类核心知识形态，并给出实用的遴选策略，助您在工程实践中作出最佳判断。依据知识在神经网络中的呈现方式，可将其划分为三个层级：输出特征（响应）、中间特征（表征）与关系特征（结构）。此属最经典、最基