仅仅是一次训练用电2.4亿度,AI为什么那么耗电?它们用掉的电都跑到哪里去了?有可能回收这些电转化成的能量吗?今天的电子计算机建立在集成电路的基础上。我们经常把集成电路叫做芯片。每个芯片中,都有许多晶体管。不严格地描述,晶体管可以理解成微小的开关。这些开关串联或者并联在一起,就可以实现逻辑运算。AI大模型确实需要大量计算。它的工作过程大致可以分为训练和推理两个阶段。
在训练阶段,首先需要收集和预处理大量的文本数据,用作输入数据。然后在适当的模型架构中初始化模型参数,处理输入的数据,尝试生成输出;再根据输出与预想之间的差异,反复调整参数,直到模型的性能不再显著提高为止。而在推理阶段中,则会先加载已经训练好的模型参数,预处理需要推理的文本数据,再让模型根据学习到的语言规律生成输出。无论是训练还是推理阶段,都是一连串信息重组过程,也同样遵循兰道尔原理。
而我们也不难推知,模型的参数量越大,需要处理的数据越多,所需的计算量也就越大,所消耗的能量也就越大,释放的热量也就越多。