告别“虚胖”拥抱“精瘦”：美国反蒸馏联盟的焦虑

告别“虚胖”拥抱“精瘦”：美国反蒸馏联盟的焦虑AI大模型虽发展迅猛，却遭遇了瓶颈。即便投入巨资堆砌万亿参数，也未能带来质的飞跃。你是否也有同感：向它提问一个简单问题，它却绕了半天弯路，罗列一堆背景，最后给出的答案还平平无奇。正因如此，“精馏小模型”（亦称精瘦模型）和“知识密度”的概念应运而生。知识密度 = 有用信息 / 参数规模与算力消耗依据这一公式，如今许多大模型实则是个“虚胖子”，吸纳了海量无关信息。这好比你去买颗菜，它却先给你科普了一整段农业发展史。大模型固然强大，但在诸多场景中，我们未必需要如此“