AI训练为何离不开海量显卡

前些天看个视频，有人秀自己用电脑跑AI，显卡风扇狂转跟直升机一样，评论区都在问：你这卡多少钱？非得用显卡？CPU不行吗？这个问题问得很到位。我也曾这么想，直到自己试着跑了个开源模型，才明白搞AI的人为啥成箱成箱地买显卡，跟囤大米一样。先讲个真事。我去年用老电脑试跑一个叫LLaMA的模型，7B参数，算是小版本。配置是i7-8700K，32G内存，一张GTX 1060 6G显卡。结果猜怎么着？跑起来直接卡死，画面定格，鼠标动不了，最后只能按机箱重启。后来换CPU跑，能动了，但生成一句话要等40秒，中间泡了杯茶