AI模型参数究竟是什么?
哦,这些都属于不同的 AI 工具。
7B、14B、70B、671B、MoE、激活参数、上下文窗口、Token、显存、量化、4-bit、8-bit……
那么参数数量越多,模型就越智能吗?
训练数据质量、训练方式、中文水平、代码水平、推理水平、后期调优、能否调用工具、是否经过量化压缩,以及它是否真正契合你的使用场景。
这家公司拥有 700 亿个"能力连接"——相当于700亿个能为你效力的个体。
它在每次响应时,基本都由一个 70B 体量的模型在运行。
这个模型文件大小为 4GB,因此只要我有 4GB 显存就肯定够用了。