全行業都在為AI大模型的(de)算(suan)力突(tu)破(po)歡(huan)呼，但基礎設施圈的(de)兄弟們(men)，可能正在機(ji)房里抓(zhua)耳撓(nao)腮。自(zi)從2023年第一批(pi)真(zhen)正意義上的(de)(de)(de)大(da)規模計算集群上線(xian)以來，一個(ge)讓數據(ju)中心運維(wei)人(ren)員頭疼的(de)(de)(de)“隱(yin)形殺(sha)手”浮(fu)出水(shui)面(mian)——AI訓(xun)練帶來的(de)(de)(de)劇烈(lie)功(gong)率波動(dong)。這(zhe)不是(shi)危言(yan)聳聽。當你的訓練集群動(dong)輒(zhe)吃掉(diao)幾(ji)個兆瓦甚至十(shi)幾(ji)個兆瓦的電，這(zhe)種如同“過山車”般的功率波(bo)動(dong)，正在從底層(ceng)硬件(jian)一路(lu)蹂(rou)躪到外部電網。今天我們(men)不聊虛(xu)的，只扒底(di)層：AI大模型(xing)的功率波動到底(di)是怎么產生(sheng)的？又該如何(he)從(cong)根源上(shang)給它“治心跳”？01 功率波動(dong)，到(dao)底是怎么來的？
很多(duo)人以為，服務器開機滿載運行，功率就是一條(tiao)平穩的直線。大錯特錯。生成式預訓練Transformer（GPT）模型的(de)(de)訓練，是在成千上萬個處理單元上進行的(de)(de)。它的(de)(de)計算流程存在明顯的(de)(de)“階(jie)段性”：上一秒還在進行極度(du)密集的(de)(de)張(zhang)量計算，下(xia)一秒就(jiu)變成(cheng)了大規模(mo)的(de)數據內(nei)存搬運(yun)。這(zhe)種計(ji)算與內(nei)存操作的(de)交替，每隔幾(ji)秒鐘就(jiu)會引發一次大幅(fu)度的(de)負載階躍。更致命的(de)是“存(cun)檔”機制。為了防止(zhi)訓練成果丟失(shi)，集(ji)群會定期進(jin)行存(cun)儲檢查點操作。這(zhe)時(shi)候，系統(tong)功率會驟(zou)降，幾十秒后又直線(xian)飆升。此外，現代(dai)芯片（比如GPU）的Turbo Boost機制(zhi)，經(jing)常會產生超出額定設計(ji)功率(lv)(lv)的“功率(lv)(lv)偏移事件”。幾(ji)兆瓦的集群里(li)，成千上萬塊芯片同時來這么一下，如果設備(bei)容(rong)量設計(ji)沒留夠(gou)余量，直接就是過載。雪(xue)上(shang)加霜的是，AI推(tui)理并不存在這種劇烈波動，這完全是AI訓練特有(you)的“富貴病”。02 災難(nan)鏈：從(cong)UPS電池早(zao)衰到電廠 turbine 斷軸(zhou)
這種劇烈(lie)的(de)負載階躍，對數據中心的(de)四大核心基礎(chu)設(she)施簡直是慢性折磨(mo)：UPS系(xi)(xi)統(tong)“未老(lao)先衰”：巨大的(de)負載(zai)階躍挑戰著UPS的(de)穩壓能力。如果系(xi)(xi)統(tong)沒(mei)配好，為了填補(bu)功率(lv)缺(que)口，UPS會頻繁(fan)進行(xing)微小的(de)充(chong)放電。這種淺充(chong)淺放反復進行(xing)，電池壽命大幅縮(suo)短，系(xi)(xi)統(tong)效率(lv)也會掉幾(ji)個百分點。最危險(xian)的(de)情況是UPS被(bei)迫(po)轉(zhuan)入旁(pang)路(lu)模式——此時IT負載(zai)在電網(wang)擾動面(mian)前“裸奔”。柴發(fa)機(ji)(ji)組“不堪重負(fu)”：波動(dong)的(de)階(jie)躍負(fu)載(zai)會讓柴發(fa)難以維持電壓和頻率(lv)的(de)穩定(ding)，引(yin)發(fa)發(fa)動(dong)機(ji)(ji)抖動(dong)。長期處于這(zhe)種機(ji)(ji)械應力下，發(fa)動(dong)機(ji)(ji)壽命大減，甚至可能因為帶(dai)不動(dong)AI負(fu)載(zai)而(er)直(zhi)接宕機(ji)(ji)。變壓器“暗傷累累”：諧波和(he)磁場(chang)變化會(hui)在變壓器內部造成(cheng)局部熱(re)應(ying)(ying)力和(he)機械(xie)應(ying)(ying)力。絕緣層加速老化，線圈變形，都是潛(qian)在隱患(huan)。電(dian)網“被(bei)迫震蕩”：這是最容易被(bei)忽視(shi)的外部代價。大(da)型AI數據中心(xin)的大(da)幅步進負載，會(hui)成為電(dian)網的不穩定(ding)源。最糟(zao)糕的情況是，突(tu)然的負載階(jie)躍引發電(dian)網頻率(lv)波動、輸電(dian)線(xian)路過載，甚至導致發電(dian)廠(chang)渦輪(lun)發電(dian)機軸產生機(ji)械共振和疲勞。03 別光想(xiang)著堆設備，治本得靠(kao)“IT端”
面對這種功率(lv)波動，傳統(tong)的(de)思路是“堆防御”——換大號(hao)UPS、加(jia)飛輪、改(gai)電(dian)池。但(dan)對于(yu)現有(you)數據中(zhong)心來(lai)說，改(gai)造(zao)電(dian)氣系統(tong)不僅風險極高，而且財務(wu)上(shang)根本(ben)算不過(guo)來(lai)賬。Uptime Institute的研究(jiu)指出一個犀利(li)觀點(dian)：既然(ran)問題(ti)出在(zai)IT硬(ying)件(jian)和軟件(jian)上，就該從(cong)根源上去解決(jue)它，而不是在(zai)基礎設施層被(bei)動挨打。對于(yu)新(xin)建或改造(zao)項目，以下幾(ji)種IT層面的(de)(de)“軟硬兼施”才是性(xing)價比(bi)最(zui)高的(de)(de)解法：策略(lve)一：負(fu)載混部
如果你(ni)機房里剛好有其他平(ping)穩的業務負載，用它(ta)們來“稀(xi)釋(shi)”AI訓練的功率波動。雖然(ran)直接給AI集群供電的PDU和(he)斷路(lu)器還得硬扛，但到了 facility 層面(mian)，風險已(yi)經被(bei)大大分散(san)了。策略二：像(xiang)超算一(yi)樣做調度
別讓整個集群同(tong)時(shi)干同(tong)一件事。通過工作負(fu)載調度，將系統切分為不同(tong)資源(yuan)分區運行不同(tong)任務(wu)，避免大規模同(tong)步計算引發的(de)功(gong)率共振。代價是(shi)：會損失一點極(ji)限性(xing)(xing)能。但對(dui)于非頂尖前沿模型的(de)訓練，這點性(xing)(xing)能換(huan)取的(de)穩定性(xing)(xing)絕(jue)對(dui)劃算。策略三(san)：祭(ji)出硬件級的“功率(lv)封印”
無論是(shi)Nvidia、AMD還是(shi)Intel，其實都有成熟(shu)的電源管理工具，只是(shi)大家過去(qu)為了(le)性能不舍得(de)用。關Turbo/限頻：直(zhi)接壓低功率波動(dong)的幅度。封頂峰值功率(lv)：設定紅線(xian)，不(bu)讓芯片飆車(che)。關(guan)閉睡眠(mian)狀態：這個操作有點反直覺——在(zai)(zai)低(di)活動期不讓(rang)芯片休(xiu)眠(mian)，強(qiang)行拉高底座功耗，從而縮小波(bo)峰波(bo)谷的落差(cha)。雖然違背節能減排的初衷，但在(zai)(zai)特(te)定(ding)場景下是(shi)穩定(ding)電(dian)網的無奈之舉。特別提及：Nvidia的“功率平滑”黑(hei)科技(ji)
從Blackwell（B系列）架構開始，Nvidia的(de)SMI（系統管理接(jie)口）提供(gong)了(le)專門的(de)power smoothing命令(ling)。它(ta)能(neng)把功率控制在一(yi)個極窄的(de)區間內，甚至通(tong)過硬(ying)件(jian)集成的(de)功能(neng)，在負載下(xia)降時把多余的(de)電“燒”掉，以(yi)減緩(huan)跌落斜率。雖然不(bu)影(ying)響性能(neng)，但這種(zhong)硬(ying)件(jian)“耗(hao)能(neng)閥”的(de)物理壽(shou)命有限，考慮到AI硬(ying)件(jian)4-6年的(de)淘汰周(zhou)期，具體表(biao)現還需實戰(zhan)檢驗。策略四(si)：把儲能塞進機架(jia)里
如果以上軟(ruan)件層面(mian)的操作都無法完全(quan)消(xiao)除(chu)亞秒級的功(gong)率振蕩，那就得在IT機(ji)架內部下功(gong)夫了。在IT電(dian)源側加大電(dian)容組，或者(zhe)引入支持(chi)快速微循環(huan)的電(dian)池儲能系統（鋰電(dian)、鈉離子、鎳鋅電(dian)池），可以在源頭直接吸收(shou)這些高頻震(zhen)蕩。04 寫在最后：未雨綢(chou)繆(mou)，別等跳閘了才哭
趨勢已經(jing)很明確了：到本年代末，下(xia)一代AI訓(xun)練(lian)系統的單集(ji)群功率將輕(qing)松(song)突(tu)破40MW，機柜密(mi)度超過400kW。芯片廠商的技(ji)術(shu)路(lu)線圖(tu)顯示，計(ji)算與內存資(zi)源的耦合只(zhi)(zhi)會(hui)越來越緊密(mi)，這種階躍負載的先天特性(xing)只(zhi)(zhi)會(hui)愈(yu)演愈(yu)烈。如果你是基礎設施的規劃者，請記住：在機房(fang)里(li)堆(dui)砌昂貴的儲(chu)能和UPS防御層(ceng)，永(yong)遠是最后的兜底(di)方(fang)案。拉著IT團隊一起，從工作負載調度、硬件功耗(hao)控制、機架級微儲能入手，才是(shi)真正的破局之(zhi)道。電網(wang)公(gong)司(si)和監管機(ji)構已經開(kai)始針對數據中心的(de)負載特性修改并網(wang)規則了。未來，AI大模型不僅要(yao)比誰(shui)算得快，還要(yao)比誰(shui)“吃電”吃得優雅。
來源：網絡 版權歸原作者
