AI为什么那么耗电?

作者: 猛犸

来源: 返朴

发布日期: 2024-04-15 12:07:26

AI大模型训练和推理过程需要大量计算,消耗大量电能,主要因为处理信息需要消耗能量,且集成电路中的晶体管在运算时会产生大量热量。

仅仅是一次训练用电2.4亿度,AI为什么那么耗电?它们用掉的电都跑到哪里去了?有可能回收这些电转化成的能量吗?今天的电子计算机建立在集成电路的基础上。我们经常把集成电路叫做芯片。每个芯片中,都有许多晶体管。不严格地描述,晶体管可以理解成微小的开关。这些开关串联或者并联在一起,就可以实现逻辑运算。AI大模型确实需要大量计算。它的工作过程大致可以分为训练和推理两个阶段。

在训练阶段,首先需要收集和预处理大量的文本数据,用作输入数据。然后在适当的模型架构中初始化模型参数,处理输入的数据,尝试生成输出;再根据输出与预想之间的差异,反复调整参数,直到模型的性能不再显著提高为止。而在推理阶段中,则会先加载已经训练好的模型参数,预处理需要推理的文本数据,再让模型根据学习到的语言规律生成输出。无论是训练还是推理阶段,都是一连串信息重组过程,也同样遵循兰道尔原理。

而我们也不难推知,模型的参数量越大,需要处理的数据越多,所需的计算量也就越大,所消耗的能量也就越大,释放的热量也就越多。

UUID: 7079886f-6ee2-4c47-999e-07dd41176540

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/中科院物理所公众号-pdf2txt/2024/中科院物理所_2024-04-15_「转」1次训练用电24亿度,AI 为什么那么耗电?.txt

是否为广告: 否

处理费用: 0.0037 元