所有語言
分享
世界範圍內通行的對天氣預報的方法被稱為數值計算,採集足夠多、足夠豐富的氣象數據后,把它們代入複雜方程,得到的結果就是所謂預測,重複這個過程,預測就連續了起來。
這些方程背後是一些堅固的理論,比如流體運動方程,熱力學方程和不同介面,氣、水、陸冰物質能量交換方程等等,它們代表的物理、化學規律是經過嚴密的計算和驗證的。
但天氣預報依然做不到絕對的準確。這種數值預測,是通過已經發生的氣象要素的變化推測未來的趨勢,它的準確程度嚴重受到觀測數據精度的影響。
更何況,隨着時間、空間尺度的變化,氣象系統的複雜性將會劇烈增長,分析氣象的成因時一方面會掛一漏萬,另一方面數據的誤差也會更多,這又反過來影響了預測的結果。
而當尺度大到一定程度時,氣象會進入一種混沌狀態。這不是比喻,氣象系統是典型的混沌系統,混沌理論最早就是氣象學家在1963年提出的。
混沌系統意味着系統非常小的擾動也可能造成巨大差別的後果——它的另一個名字叫蝴蝶效應,加利福尼亞的蝴蝶扇動翅膀,德克薩斯和墨西哥灣將掀起一場風暴。
這就要求對數值最開始的測算必須非常精確,然而我們都知道絕對的精確是不存在的,更何況面對如此複雜的氣象運動,要採集的數據種類和數量實在太多。
人類對天氣的預測就像努力學習蝴蝶的翅膀同風暴眼移動軌跡之間的關係那樣,既壯麗,有時又有些絕望,甚至還帶有一種玄奧的成分。
一面在精確度上構建越來越複雜的函數方程組,盡可能收集更多、間隔更短的數據,另一面則依賴一種近乎是“直覺”的經驗。
時至今日,所有的天氣預報結果依然由兩部分決定——數值計算的結果,加上預報員的判斷。天氣預報依然高度依賴人的經驗。
某種程度上,人類在用自己的感覺,對抗大自然的混沌。
因此氣象預測呈現出一種詭異的特質——因為只要依靠人類的經驗感覺,那麼總會遇到失靈的時候,在一些極端氣候中更是如此,因為有關極端氣候的數據太過稀少,導致人對它無法形成連貫的經驗。
但隨着數值預測精度幾十年來的提升,目前的天氣預報在許多時候已可以達到相當準確的程度,中期可用性預報時效已經接近10天,而短期的預測——比如說冷空氣什麼時候到來,會降溫多少度,人類已能判斷的十分精準。這是因為儘管總體上全球的氣候環境變化是混沌的,但在許多微觀層面,比如氣團的形成,氣壓的變化,雲層運動的軌跡,正在被越來越多的函數和公式形象而準確的描述。
比如最近在京津冀肆虐的暴雨。
7月29日到8月1日,颱風杜蘇芮帶着豐富的水汽北上,在華北遭到高壓攔截,京津冀地區出現了歷史罕見的極端暴雨。
極端體現在幾個方面,首先是量大。河北邢台臨城縣降雨量超過1000毫米,也就是1米,等於這裏原本兩年降水量的綜合。其次是時間長,從7月29日開始一直綿延了近四天,連北京都連續下了83小時的雨。河北、陝西、河南等地也連續两天出現大暴雨。最後是影響範圍廣,整個華北都被陰雨籠罩。
天氣預報幾乎完全準確地預告了這場極端降雨的到來。這背後是天氣預報幾十年來的巨大進步——數值計算已經從簡單的方程組發展成世界上最複雜的算法之一,畢竟,對莫測的天氣的捕捉,數據和算法都是越多越好,而為了處理這海量的數據和複雜的算法,超級計算機被引入。
許多人可能對氣象數據的龐大沒什麼概念,在這裏可以舉一個数字:每一天,中國的氣象數據增長高達40TB。我國建立的一整套立體的天氣觀測網絡,有7萬多個氣象觀測站覆蓋全國99.6%的鄉鎮,這些數據傳輸的時間從過去的1小時近年來縮短為1分鐘。
如此巨量的數據本身處理起來就已頗有難度,而把它們同數值計算的方程結合起來,則幾乎是不可能完成的任務——複雜的偏微分方程和浮點計算都需要消耗大量的算力,特別是天氣預報還要求極高的時效性,種種條件約束下,只有超級計算機能夠滿足需求。
所幸,中國在這方面走在世界前列。
超算一直是一張中國名片,比如全世界最快的500台超級計算機,中國就佔了162台;再比如我過三次獲得國際超算應用最高獎——戈登·貝爾獎,其中的兩次獲獎內容“大氣動力框架”和“地震模擬”都和氣象有關。
目前中國使用的超算名叫“派—曙光”,它峰值運算速度達到每秒8189.5萬億次,存儲能力達到23088TB,這套完全國產的超算2018年開始服務后,我國高性能計算機系統總體規模已經躍居氣象領域世界第三位。
這還不算完,隨着數據量快速增長和硬件的磨損,超算的服役年限多在6到8年,因此在“派—曙光”之後,新的超算也在陸續上馬,今年第一批新國家級高性能計算(HPC)子系統1已經安裝建設完成,它的性能相比“派—曙光”進一步提升,達到13PFlops,儲存能力也增長到了76PB。
更多的超算還在路上。
國產高性能計算機系統“派—曙光”概念圖,圖片來自國家氣象信息中心。
總的來說,成百上千顆CPU組成的超算構成了天氣預報堅實的基礎,但它仍有不能做到、或者很難做到的事情。
比如颱風。我們對颱風杜蘇芮的預測,遠沒有達到對特大暴雨預測的精準程度。國際上主流的颱風預測方式均採用了動力模型,它根據大氣物理定律,包括流體動力學和熱力學等來模擬大氣運動,進而預測颱風的變化。
動力模型有許多不準確之處,這讓大家一開始對杜蘇芮的路徑預測五花八門,這個領域公認比較權威準確的歐洲中期天氣預報中心一度認為杜蘇芮會直衝珠三角。
事實上,颱風預報一直是個世界性難題,因為颱風在很短時間內可以發生劇烈的強度變化,而它的路徑又由於處於非常大的時空尺度上,受多種因素影響而顯得變幻莫測。
它是一個典型的混沌系統。
由此數值預測為主的天氣預報成為了一種矛盾的綜合體,這讓它能提升的空間儘管巨大,但又十分受限——人們逼近準確性的方法除了積累經驗,只有盡可能多地收集數據和構建越來越複雜的函數,但它的邊際效益正在越來越強的顯現,更多的數據並不能大幅度、全面地提升天氣預報在宏觀和微觀尺度上的準確性,而通用計算的成本卻在持續增長。
到此處,情況彷彿陷入了一個僵局。海量數據,複雜算法以及高算力需求,讓數值計算某種程度上走向瓶頸,但這三個條件看上去是不是有點眼熟?
似乎有點像大模型的三個要素?
實際上,在品玩看到的某個氣象技術內部研討會資料上,有專家直接宣稱:人工智能和氣象工作在方法論上是相通的。
既然數值計算的公式實際上並不能窮盡整個混沌系統里的所有因果,為什麼不用神經網絡的方法,把海量的數據導入其中,讓計算機自己來尋找和學習其中的規律?
這看上去像是一種不可言說,又異常玄妙合理的解釋。
人類的第一台电子計算機ENIAC埃尼阿克和第一台根據馮·諾依曼結構打造的計算機EDSAC實際上都用來進行過氣象學相關的科學計算,氣象學的發展始終和計算機科學的進步緊密連接——高性能計算推動了氣象科學的複雜問題的解決,而跳出通用計算的思路后,神經網絡和大模型看上去是氣象學和天氣預報的一個非常有趣且合情合理的方向。
實際上,這次對杜蘇芮颱風軌跡的預測,中央氣象台就參考了人工智能大模型的結果。
氣象大模型並不是隨着去年底生成式AI的火爆才出現的,一直以來利用強大算力、巨量數據和各種深度學習架構來預測天氣的大模型就有很多,在國外比較有名的有英偉達FourCastNet,DeepMind和谷歌的GraphCast以及微軟的ClimaX,國內最近出圈的則是華為盤古大模型和上海風烏大模型,後者來自上海人工智能實驗室。
盤古和風烏都使用了歐洲氣象中心名為ERA5的氣象再分析數據集,它提供了過往60餘年,覆蓋地表37個等壓面的各種氣象數據共2000TB。
這些數據給大模型提供了發揮的空間——不再使用精準對應的數值計算,而是讓AI更靈活地去挖掘數據之間的各種複雜關係。
盤古構建了一個3D transformer 結構,讓海洋、大氣和陸地的複雜交互物理過程融為一體,而過往的氣候大模型,比如英偉達的FourCastNet則都採用的2D結構——每個等壓面為一層,顯然,2D平面沒有辦法更好反應氣象變化的過程。
根據品玩看到的材料,華為在這個3D 結構中使用了絕對位置編碼,由此明顯加速了模型的收斂,此外,華為訓練了四個基礎模型分別對應1小時、3小時、6小時和24小時的預測,通過時域融合的方法顯著減少了過往模型中由於小步長、多次迭代造成的誤差。
對於預測老大難颱風,盤古使用了平均海平面氣壓作為預測基準,其結果比歐洲氣象局更好。
風烏大模型的思路則是用6個獨立的編碼器對不同的氣象參數(濕度、風、溫度等)進行編碼解碼,不同變量之間用獨立的transformer網絡進行學習。
同華為時域融合減少誤差的方式不同,風烏設計了一個緩存空間用來儲存和回放訓練過程中的結果,以讓神經網絡適應其誤差,從而實現了更好的預測效果。
這些新的氣象大模型預測的效果,儘管目前的成果還很初步,公布的成績也是在一些具體指標上好於傳統數值預測方法,尚需全面的測試和優化,但毋庸置疑它們代表了一種迥然不同於傳統氣象預測的新範式。
目前,華為的盤古大模型已經在歐洲中期天氣預報中心實現了初步業務運行,而風烏則宣稱是目前最精準的全球高分辨率AI氣象預報模型,提前24小時對杜蘇芮預測的誤差值為38.7公里,精確度優於歐洲中期氣象預報中心的54.11公里。
變革即將來臨。氣象大模型在許多方面都很有可能顛覆氣象預報模式,比如說速度。風烏用一張GPU在1分鐘內就能生成未來14天全球所有地區37個層級高精度高分辨率氣象預報結果,而盤古的7天天氣預報生成時間只需要9.8秒。
為數值計算所建立的實時天氣數據傳輸系統和通用算力基礎設施將會因此改變。根據品玩了解到的氣象局內部人士觀點認為,儘管短期內還僅僅作為一種預報參考,但中長期看,氣象大模型潛力無疑十分巨大。
現在,這些氣象大模型主要面對的問題或許有兩個方面,首先是調優。極端氣候等數據如何在大模型中被正確標註是一個問題,AI模型的擬合能力很強,因此在長期預報中有可能出現錯誤,這或許可以稱之為氣象大模型的“幻覺”。
另外,目前的大模型還沒有更深的行業 know how 儲備,模型的構建都由計算機科學家,而不是氣象專家完成,也就是說這些垂直大模型還缺乏“人類反饋”調優。
另一個問題則是老生常談的算力,雖然我國在超級計算機發展方面位居世界前列,但大模型所使用的並不是傳統超級計算機的通用算力,深度網絡的運行需要大規模的并行計算,也就是高性能GPU,在這方面我們仍處於卡脖子狀態。
所幸氣象大模型所直接涉及的算力成本並不高,根據品玩了解到的情況,幾十張英偉達顯卡(甚至不需要最先進型號)就可以在幾周,至多2個月的時間內完成模型的訓練。這也成為它相較於傳統數值預測模式的一個優勢。
在氣象大模型加持下,“天有不測風雲”這句話或許很快將成為一個偽命題,而有一天,或許我們真的可以同時預測那扇動的蝴蝶與狂暴的颶風究竟來自何處,又要去往何方。