> 通信 >

      第十屆ASC超算總決賽:挑戰179億參數大模型訓練

      時間:2023-05-12 21:58:05       來源:光明網


      (資料圖片)

      5月10日,第十屆ASC世界大學生超級計算機競賽總決賽在中國科學技術大學落下帷幕。北京大學、中國科學技術大學分獲冠亞軍,中國科學技術大學獲e Prize計算挑戰獎,浙江大學獲最高計算性能獎。

      正式決賽的首日,24支隊伍向AI語言大模型、超級團隊賽和HPL&HPCG基準測試三道賽題展開比拼。

      據悉,本屆比賽e Prize計算挑戰獎的指定賽題是AI語言大模型。ASC組委會提供了100GB高質量中文數據集,要求參賽隊基于此數據集分別實現15億、179億參數的2個AI語言大模型。參賽隊需要自行設計模型訓練策略并完成模型訓練過程,在追求極致性能的同時,還要滿足精度約束等嚴苛條件,使得這道賽題極具挑戰性。

      南方科技大學代表隊表示,“前期我們研究了很多大模型相關論文,學習如何進行并行優化、主流分布式訓練框架等。但是拿到這個賽題時還是非常驚訝,179億參數的模型真的很大,對顯存、GPU等資源及并行計算優化的要求遠遠超出我們的預期。”

      據介紹,本屆超級團隊賽由24支隊伍通過抽簽組成4個超級團隊,每個超級團隊需包含一支線上參賽隊伍,以跨團隊合作的形式共同完成決賽首日公布的量子線路采樣模擬的賽題。

      隨機量子線路的采樣問題因為其巨大的經典模擬復雜度被認為是展示量子計算優越性的最佳候選者。2019年谷歌量子人工智能團隊發表基于懸鈴木量子芯片的隨機量子線路采樣實驗,宣稱其經典模擬時間需要花費超算一萬年,而量子實驗僅需200秒,因此展示了量子優越性。

      本屆比賽的賽題是通過一個基于張量網絡的算法來模擬53比特12循環的懸鈴木量子線路,并計算谷歌實驗中采樣出來的1024個末態比特串樣本的嚴格振幅以及這些樣本的隨機交叉上熵保真度。相較于傳統的模擬算法,基于張量網絡的量子線路模擬方法能夠大大加速模擬的過程,將谷歌宣稱的一萬年模擬時間縮短到數十秒,達成超過10億倍的性能提升。量子線路的高效經典模擬方法能夠幫助人們對量子計算優越性有一個更為清晰的認知,與此同時也能助力量子硬件以及量子實驗的設計、測試以及驗證。

      在HPL計算基準性能測試中,浙江大學以每秒109萬億次浮點運算性能的佳績名列榜首。他們設計搭建了“1機8卡”異構加速系統,在3000W總功耗約束下,將更多功耗分配給GPU進行應用運算,并結合精細的控制優化,實現整體系統109萬億次/秒的HPL持續浮點運算性能。

      ASC超算競賽采用國際最通用的超級計算機浮點性能基準測試程序HPL,這也是全球超算TOP500排行的主要依據。ASC競賽規則要求各參賽隊伍自行設計超算系統,在總功耗3000W約束下正確完成包括HPL計算性能基準測試在內的各項計算任務。

      ASC世界大學生超級計算機競賽是由中國發起組織,并得到亞洲及歐美相關專家和機構支持,旨在通過大賽平臺推動各國及地區間超算青年人才交流和培養,提升超算應用水平和研發能力,發揮超算的科技驅動力,促進科技與產業創新。ASC超算大賽迄今已舉行至第10屆,吸引超過萬名世界各國大學生參賽,是全球最大規模的超算競賽。(柯巖)

      標簽:

      消息推送
      首頁
      頻道
      底部
      頂部