Re: [新闻]辉达设厂“2处机会大” 黄仁勋认担心电力

楼主: sxy67230 (charlesgg)   2024-06-06 21:22:24
※ 引述《zkow (逍遥山水忆秋年)》之铭言:
: ※“新闻”标题须为原新闻标题且从头张贴 ※
: 1.新闻网址︰
: ※ 请附上有效原文连结或短网址 ※
: https://www.setn.com/News.aspx?NewsID=1480587
: 2.新闻来源︰
: 三立新闻
: 3.完整新闻标题
: ※ 内文请完整转载标题 请勿修改与删减 ※
: ※ 注意发文标题 为原始新闻标题从头张贴 切勿修改与删减 ※
: 辉达设厂“2处机会大” 黄仁勋认担心电力:会挑正确地点
: 4.完整新闻内容︰
: ※ 请完整转载原文 请勿修改内文与删减 ※
: 辉达设厂“2处机会大” 黄仁勋认担心电力:会挑正确地点
: 2024/06/06 19:19:00
: 三立新闻网
我这边帮老黄缓颊一下,我记得之前有在八卦发过文,当前如果要做预训练的AI模型这个
就是一个耗电怪物。以Meta训练llama3 70B(以当前来说就真的是700亿个参数就只是小
模型)的模型从零开始2.4万张H100初估就足以批敌半座小城市一天的用电量,如果未来
需要更大的训练光是10万张显卡一起动作就足够让一个城市的电网瘫痪,这也是为什么电
力问题是当前各国都重视的,没有足够的电力就没有安全的AI。
以上这边都还只是训练,推论部分以OpenAI的数据为50万千瓦,差不多是1/10个台积电一
天的消耗电量,如果在多几个模型(依照当前模型的能力不太可能只靠一个版本的生成式
模型解决所有人类问题)就超过台积电用电了,所以大模型就是耗电怪兽这已经算是业界
、学界的共识了。
如果老黄是想要在台湾部署AI并且变成研发中心那能源问题就是要谨慎考虑的。

Links booklink

Contact Us: admin [ a t ] ucptt.com