數(shù)字經濟乘風起,百舸揚帆正當時。大數(shù)據(jù)、區(qū)塊鏈、云計算、人工智能、工業(yè)互聯(lián)網加速演進,信息化浪潮日新月異,新一輪科技革命和產業(yè)變革深入發(fā)展,數(shù)字經濟產業(yè)集群紛紛涌現(xiàn)。
黨的二十大報告提出“加快建設制造強國、質量強國、航天強國、交通強國、網絡強國、數(shù)字中國”。《數(shù)字中國建設整體布局規(guī)劃》明確“建設數(shù)字中國是數(shù)字時代推進中國式現(xiàn)代化重要引擎”。鋪好數(shù)字經濟發(fā)展的基石,打通數(shù)字基礎設施,為數(shù)字經濟全面高質量啟航營造良好生態(tài)尤為重要。
以操作系統(tǒng)為代表的基礎軟件,既是連接底層算力資源和計算生態(tài)應用層的產業(yè)核心,也是統(tǒng)籌各類數(shù)字資源、激發(fā)數(shù)字要素活力、構建數(shù)字經濟整體布局的關鍵。培育好連接底層算力資源和上層應用的操作系統(tǒng)基礎軟件,推動信息技術應用覆蓋社會生產生活的方方面面,構建互聯(lián)互通的新型數(shù)字化產業(yè),才能夠真正實現(xiàn)釋放數(shù)字潛能,廣泛賦能實體經濟。
從星火到燎原,歐拉成為中國第一服務器操作系統(tǒng)
此前,我國基礎軟件產品大多依賴國外技術,操作系統(tǒng)作為軟件領域基礎研究中的重要環(huán)節(jié),在基礎軟件中處于核心地位,也長期為國外所主導,國產化操作系統(tǒng)以及與之相應的共創(chuàng)共享的開源模式呼之欲出。
近年來,隨著我國計算生態(tài)和算力設施建設的日臻提升,中國操作系統(tǒng)迎來了高速發(fā)展,其中openEuler(歐拉)操作系統(tǒng)歷經四年開源生態(tài)建設,成為國產操作系統(tǒng)的一騎絕塵。根據(jù)IDC 報告預測,2023 年中國服務器操作系統(tǒng)領域,openEuler(歐拉)系市場份額第一,達到 36.8%。
openEuler(歐拉)操作系統(tǒng),面向數(shù)字基礎設施,支持服務器、云計算、邊緣計算、嵌入式等應用場景,自2019年正式開源以來,連接全球開源基金會、開源組織、開發(fā)者,共建全球開源新生態(tài)。四年來,從星星之火到燎原之勢,openEuler已經成長為符合國際標準的開放治理、合規(guī)運作、具備安全供應鏈的全球化社區(qū),在中國匯聚全球開源力量,為世界開源貢獻中國智慧。
openEule操作系統(tǒng)的崛起與openEule開源社區(qū)的生態(tài)發(fā)展、社區(qū)治理,以及openEule生態(tài)參與全球體系息息相關。中國工程院院士倪光南在由開放原子開源基金會、中國電子技術標準化研究院,國家工業(yè)信息安全發(fā)展研究中心、中國軟件行業(yè)協(xié)會共同主辦的“操作系統(tǒng)大會2023”上表示:“在當前我國正處在全面建設社會主義現(xiàn)代化國家的新征程,面臨新形勢、新任務,我們迫切需要重視開源,學習開源,用好開源,特別是在信息領域,開源可以成為發(fā)揮中國人才優(yōu)勢的創(chuàng)新平臺,成為中國融入科技創(chuàng)新網絡,參與國際治理的有效方式。正是在這個大背景下,開源歐拉的成功實踐,具有強大的現(xiàn)實意義?!?/p>
開放原子開源基金會孫文龍理事長認為,openEuler的快速發(fā)展證明,充分利用開源、參與開源、支持開源、回饋開源,是實現(xiàn)操作系統(tǒng)技術創(chuàng)新和產業(yè)繁榮的路徑。
openEule的繁榮同樣也是產業(yè)各界集智薈力的結果,在openEule操作系統(tǒng)廣泛應用,推動數(shù)字化轉型走深走實的過程中,出現(xiàn)了一批具有示范性商業(yè)實踐的應用落地。其中,上海交通大學“交我算”平臺openEuler集群作為教育行業(yè)的成功實踐,獲得由OpenAtom openEuler社區(qū)聯(lián)合國家工業(yè)信息安全發(fā)展研究中心,攜手業(yè)界專家最終評選的“2023年度openEuler領先商業(yè)實踐”殊榮。
“交我算”openEuler集群為教研計算平臺提供示范推廣價值
隨著信息通信技術的迅速發(fā)展,尤其是互聯(lián)網、大數(shù)據(jù)、人工智能等技術的廣泛應用,新的學習渠道和教學方式正在形成,教育要素也在發(fā)生深刻變革,教育行業(yè)正面臨著轉型課題與巨大的發(fā)展機遇,教育數(shù)字化轉型成為全球教育變革的重要戰(zhàn)略。黨的二十大將“推進教育數(shù)字化”首次寫進黨代會報告,提出“推進教育數(shù)字化,建設全民終身學習的學習型社會、學習型大國”。面向新一輪科技革命和產業(yè)變革,積極推進教育數(shù)字化轉型,適應新時代人才培養(yǎng)的需求,是推動教育強國的必然要求。
獲得“2023年度openEuler領先商業(yè)實踐”榮譽的上海交通大學“交我算”平臺openEuler集群從屬于校級高性能計算服務平臺“交我算”。校級計算平臺“交我算”由網絡信息中心負責建設及管理,全面支撐學校的教學、科研和管理的計算需求,重點支持校內高水平用戶科研,提供HPC+AI算力資源,覆蓋各學科門類,支撐海洋學、生物醫(yī)學、航空航天、機械制造、天體物理等領域的科學研究及工程應用。
“交我算”寓意師生的計算需求可以放心交給“我”來算,平臺從2013年開始建設,目前已發(fā)展成為國內高校頂尖的計算平臺,根據(jù)計算需求提供“思源一號”高性能計算平臺、π2.0超算平臺、AI 平臺、ARM平臺四種計算支持。“交我算”openEuler計算集群是國內高校首個基于ARM處理器的HPC集群,集群建設初期采用CentOS 7.6系統(tǒng),2023年交大網絡信息中心開展了國產操作系統(tǒng)遷移專項工作,將ARM集群操作系統(tǒng)全面替換為openEuler22.03。
此前,在服務器操作系統(tǒng)居領先地位的CentOS操作系統(tǒng)于2020年開始停止維護,對高性能計算來說繼續(xù)使用CentOS將面臨重大安全隱患,同時我國信息技術的發(fā)展也對操作系統(tǒng)安全性能的要求進一步提高,這使得計算領域對安全穩(wěn)定、自主可控、可替代CentOS的國產操作系統(tǒng)的需求更為迫切。
openEuler搭載了鯤鵬,相較CentOS擁有更好的性能與兼容性,然而在高性能計算領域還未有大規(guī)模應用。在openEuler系統(tǒng)的遷移準備過程中,交大網絡中心圍繞openEuler的兼容性、使用openEuler對于超算應用性能的影響,開展了一系列的測試與分析,具體包括:在搭載了鯤鵬的ARM架構超級計算機上成功部署了32個openEuler計算節(jié)點,為其部署了超算軟件棧,隨后安裝并成功運行了共計22個基準測試與超算應用;進行了操作系統(tǒng)層面的微基準測試、單節(jié)點的核函數(shù)測試,以及千核規(guī)模的超算應用測試,將評測結果與使用CentOS時的結果進行了對比與詳細的分析;過程中優(yōu)化集合通信性能,使用MPI和OpenMP混合編程、調整OpenMPI 的集合通信算法、更換編譯器與通信庫等方法,提高了使用openEuler時的集合通信性能。
“交我算”ARM 架構超算平臺是國內首臺基于ARM處理器的校級超級計算機。交大網絡中心依托“交我算”平臺對openEuler開展的評測與分析工作,驗證了openEuler對于ARM架構超級計算機與多個典型科學計算應用具有良好的兼容性,并且發(fā)現(xiàn)openEuler相較于CentOS具有更低的操作系統(tǒng)噪聲和更優(yōu)的內存管理能力。
交大網絡中心通過openEuler的遷移,定制了適用于“交我算”平臺的openEuler批量部署和集群配置管理方案,實現(xiàn)了國內高校首個基于ARM處理器的HPC集群在硬件和系統(tǒng)層面上均采用了全國產化解決方案,積極呼應了國家提升自主創(chuàng)新能力、推動國產化替代的政策大方向;同時在高性能計算領域集群評測、分析以及性能優(yōu)化的工作,不僅判斷了ARM架構超級計算機上openEuler代替CentOS的可行性,也為國產操作系統(tǒng)在高性能計算領域的大規(guī)模應用和完善提供了應用先例和推廣經驗。
“交我算”openEuler集群建設為開源社區(qū)貢獻生態(tài)發(fā)展力量
2023年7月,“交我算”平臺正式上線了遷移完成后的openEuler計算集群。集群上線后面向上千個課題組共數(shù)千個用戶,提供了持續(xù)可靠的計算服務。到目前為止集群已穩(wěn)定運行5個月,月平均資源利用率穩(wěn)步上升,用戶對openEuler系統(tǒng)的易用性和穩(wěn)定性受到了普遍認可。另一方面,“交我算”平臺openEuler計算集群的實踐也充分驗證了openEuler在HPC領域替代CentOS的可行性。
在“操作系統(tǒng)大會2023”上,openEuler的開源生態(tài)和中國開源走向國際成為與會專家和產業(yè)界代表們熱議的話題。據(jù)openEuler平臺最新數(shù)據(jù),目前開源社區(qū)已吸引213萬開源用戶,匯聚17000多名開源貢獻者,1400多家頭部企業(yè)、研究機構和高校加入,成立104個特別興趣小組(SIG),這表示國產操作系統(tǒng)已經取得了里程碑式的重要進展。
openEuler委員會主席江大勇在“操作系統(tǒng)大會2023”上表示,openEule開源四年,歷經了1445天成為中國服務器操作系統(tǒng)新增第一份額,實現(xiàn)了跨越式的發(fā)展。在技術創(chuàng)新、行業(yè)應用、產業(yè)生態(tài)建立了完善的發(fā)展體系,形成了正循環(huán)。歐拉通過開源協(xié)作的社區(qū)模式,匯聚了從服務器、SV、ISV和萬千開發(fā)者的力量,以開放的產業(yè)生態(tài)賦能千行萬業(yè)的生產,支撐了智能化的升級。歐拉操作系統(tǒng)支持全球98%的開源軟件,致力于打造國際化的開源協(xié)作平臺,匯聚全球開源力量,為世界開源貢獻智慧。
江大勇在談到openEuler作為數(shù)據(jù)基礎設施的開源操作系統(tǒng),解決以往操作系統(tǒng)在實際應用中面臨“一種操作系統(tǒng)對應一個應用、用戶需要進行一次適配”問題時說:“openEuler創(chuàng)造性地提出一套代碼、一套架構支持多樣性算力、支持全場景,openEuler的通用支持也包括對智能芯片的支持。openEuler不僅僅是替代者,更符合接下來共用共享、生態(tài)互通操作系統(tǒng)的技術趨勢?!?/p>
與openEuler生態(tài)的不斷發(fā)展同步而行的是,openEuler系統(tǒng)已經在通信、金融、能源、交通、政務、信息化等領域開展規(guī)?;逃?,承載產業(yè)鏈各端力量,廣泛賦能實體經濟并創(chuàng)造了顯著的社會效益。
上海交通大學“交我算”openEuler集群在平臺建設和推廣過程中所集成的經驗給openEuler開源社區(qū)貢獻了生態(tài)發(fā)展力量。在系統(tǒng)遷移的前期測試中,交大網絡中心“交我算”團隊發(fā)現(xiàn)HPC領域廣泛使用的開源并行文件系統(tǒng)Lustre在openEuler系統(tǒng)上存在部分兼容性問題,如內核模塊編譯失敗?!敖晃宜恪眻F隊與openEuler社區(qū)、Linaro協(xié)作,共同推進了lustre并行文件系統(tǒng)在openEuler上的適配工作。目前經過適配的系統(tǒng)組件包和預編譯的lustre 2.12.5版本client端軟件包已被納入openEuler 22.03 SP2發(fā)行版本。由Linaro主導的server端適配工作也在繼續(xù)進行,計劃納入22.03 SP3發(fā)行版本。此項適配工作填補了openEuler在并行存儲領域支撐能力的一塊空白,增強了openEuler系統(tǒng)在高性能計算行業(yè)的競爭力。
上海交通大學網絡信息中心“交我算”平臺開發(fā)工程師張?zhí)礻柣叵肫鹪趏penEuler集群應用推廣中OpenFOAM的應用案例移植給他留下了深刻的印象:“OpenFOAM是一個廣泛應用于工程領域的自由、開源的計算流體力學軟件,在交我算平臺上使用該軟件的用戶群體數(shù)量非常多。這本來是個較為復雜的程序,但openEuler系統(tǒng)提供了友好的開發(fā)環(huán)境和豐富的應用生態(tài),使得我們能夠沿用CentOS環(huán)境的部署經驗,大大降低了移植難度。用戶使用角度來說,也能夠直接在openEuler集群上復用他們的工程項目,有助于迅速提升openEuler集群的利用率?!?/p>
接下來,上海交大網絡信息中心還將與openEuler社區(qū)展開深度合作,針對“交我算”openEuler集群系統(tǒng)中發(fā)現(xiàn)的問題,向社區(qū)直接提出改進需求并跟進相關優(yōu)化和適配工作。張?zhí)礻栂嘈胚@些從生產環(huán)境中挖掘出來、立足于實際業(yè)務的需求,和在實際操作過程中總結出的成熟經驗有助于推動openEuler開源生態(tài)的自我完善和發(fā)展。交大超算平臺團隊人員還將參與openEuler SIG組的工作會議和年度用戶大會,為openEuler開源社區(qū)貢獻交大計算支持。
openEuler開源生態(tài)立足數(shù)字技術關鍵期,服務國家現(xiàn)代化建設
自openEuler推廣社區(qū)開源生態(tài)至今,秉承“共建、共享、共治”的原則,四年生態(tài)發(fā)展歷程也是中國開源界在當前數(shù)字經濟技術自主創(chuàng)新的關鍵時期鼎立革新、奮力推進中國式現(xiàn)代化進程的縮影。openEuler計算生態(tài)和開源社區(qū)的崛起,表明國內操作系統(tǒng)扭轉了過往信息技術領域軟件生態(tài)建設不足的歷史,全面支持大數(shù)據(jù)、云計算、人工智能、算力基礎設施、工業(yè)互聯(lián)網等數(shù)字要素云邊端協(xié)同的發(fā)展體系,開啟了國產操作系統(tǒng)研發(fā)與推廣的新局面。
正如倪光南院士所述:在上萬名開發(fā)者的參與和貢獻下,openEuler已經從一粒種子成長為參天大樹,承擔起構建我國信息領域技術和數(shù)字經濟底座的重任。
與時俱進,守正創(chuàng)新。上海交通大學“交我算”平臺建于2013年,彼時已是當時國內高校最大超算系統(tǒng),經過十年交大人的持續(xù)建設,目前發(fā)展成國內高校頂尖的算力中心,同時“交我算”團隊是目前國內最大的校級計算團隊。在校級計算平臺的探索與實踐上,“交我算”平臺openEuler集群既為交大全??蒲袆?chuàng)新的支撐升級計算服務模式,在國內高校計算平臺建設領域推出了與國產開源生態(tài)合作的先例,以積極響應新時期教育數(shù)字化轉型、高校教學科研對計算平臺和軟件生態(tài)支持升級以及國產化操作系統(tǒng)應用的需求,又推動了openEuler開源社區(qū)豐富應用生態(tài)、完善優(yōu)化與適配、提升高性能計算性能的生態(tài)建設。
產教融合、產學實踐,持續(xù)推動國產操作系統(tǒng)與開源生態(tài)進步與創(chuàng)新。上海交通大學網絡中心“交我算”平臺開發(fā)工程師張?zhí)礻柶谕敖晃宜恪眔penEuler集群的實踐經驗對于其他高校起到借鑒意義,同時期望openEuler能夠進一步完善系統(tǒng)的應用生態(tài),吸引到更多用戶和機構,進一步擴大在國際上的知名度和影響力。
審核編輯:黃飛
-
處理器
+關注
關注
68文章
19896瀏覽量
235290 -
ARM
+關注
關注
134文章
9353瀏覽量
377631 -
云計算
+關注
關注
39文章
7976瀏覽量
140103 -
操作系統(tǒng)
+關注
關注
37文章
7152瀏覽量
125601 -
openEuler
+關注
關注
2文章
328瀏覽量
6342
原文標題:交大“交我算”計算集群:共建openEuler開源技術新生態(tài)
文章出處:【微信號:openEulercommunity,微信公眾號:openEuler】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
Innovative Power Products (IPP) ——高精度微波組件,驅動未來通信新紀元
泰芯半導體開啟AIOT高效傳輸新紀元
羅克韋爾攜手上海氣候周開啟氣候燈塔新紀元
深藍汽車攜手華為開創(chuàng)全民智駕新紀元
探索未來算力新紀元——帶你體驗 Kafka、Zookeeper 集群安裝

共創(chuàng)開源操作系統(tǒng)根社區(qū),openEuler探索可持續(xù)發(fā)展創(chuàng)新路徑
第二屆openEuler生態(tài)大會圓滿結束
倒計時1天 | 第三屆OpenHarmony技術大會——明天,上海見!
第三屆OpenHarmony技術大會開啟 上海見

跨越地理限制:動態(tài)海外住宅IP技術引領全球化網絡新紀元
英特爾與阿里云攜手共創(chuàng)數(shù)智新紀元
能耗管理系統(tǒng)新紀元:智能科技引領綠色生活風尚
共創(chuàng)未來:QIDI Vida與中國聯(lián)通攜手開啟AI運動新紀元

評論