建設一個統一、開放、集約的平臺,將氣象部門海量的數據、龐雜的業務系統收歸一處,讓信息暢通無阻,觀測、預報、服務間的融合協作也變得前所未有的便利高效——多年以前,這些設想只是“空中樓閣”,但如今隨著氣象大數據云平臺的業務化運行一一照進現實。“天擎”這個“數算一體”的支撐平臺,正成為氣象業務與研發高度集約的“云+端”新業態最可靠的支柱。
成長 迎難而上 筑牢“云+端”業務技術體制基座 將風云變幻用觀測數據記錄下來,再通過復雜的運算得出預報,最終轉化為豐富多樣的服務產品,氣象業務鏈條從頭到尾,都高度依賴數據與信息的順暢流轉。建立一個集約、穩定而高效的信息系統,一直以來都是氣象工作者的理想。 跨入新時代,隨著信息技術的快速發展,以及氣象業務對擁有集約高效系統的愿望越來越強烈,“天擎”因勢而生,肩負起夯實“云+端”業務技術體制基座的重任。 01 因勢而生 2017年12月,是“天擎”建設的起點。 12月11日,《氣象大數據行動計劃(2017-2020年)》發布,提出統一設計建設開放互聯的氣象大數據云平臺。12月26日,《氣象信息化發展規劃(2018-2022年)》印發,明確建設“專有云+公共云”模式的氣象大數據云平臺。 國家氣象信息中心系統工程室副主任何文春參與了“天擎”建設全過程。他認為,從起步階段開始,“天擎”的定位就非常明確,“集約”是其中最明顯的特征。這個新生的平臺,將匯聚、共享、開放與應用氣象數據資源,推進氣象應用融入其中,建成智慧氣象生態體系,支撐氣象數據資源開放共享和跨領域融合應用,提升氣象信息系統集約化水平和應用協同能力。 彼時,全國綜合氣象信息共享平臺(CIMISS)剛剛解決國省應用統一數據源的問題,但各業務單位、業務系統間的“信息孤島”“應用煙囪”問題仍未解決,資源浪費現象突出。如何在數據集約的基礎上,實現“數算一體”更高層次的集約?“天擎”的設計需要慎重考量。 從國家級到省級,氣象業務系統十分龐雜。要將各不相同的系統順利融為一體,必須有的放矢,以需求為引導。2018年1月,國家氣象信息中心聯合各國家級業務單位和部分省級氣象局,組建34人的設計團隊,開始設計氣象大數據云平臺。設計初稿完成后,又全面征集反饋情況,吸納改進建議82條,最終歷時9個月時間,完成《氣象大數據云平臺設計方案》?!疤烨妗钡慕ㄔO工作,正式啟動。 02 攻堅克難 數十年來,各級氣象部門根據各自需求,建設了數據規范、系統架構、編程語言等各不相同的數百個業務系統。要構建一個兼容并包的平臺,實屬不易。 與互聯網“大廠”建設云平臺不同的是,氣象大數據云平臺建設面臨著堪稱嚴苛的算法兼容問題。以數值預報為例,我國的模式研發起步于20世紀80年代,許多核心算法仍采用誕生于1957年的Fortran語言或1972年發行的C語言。要想從底層重構這些算法,既不現實也無必要,因此就需要增強兼容性,讓來自“舊時代”的程序順暢地運行起來。 相比個別算法的兼容,業務系統的整體融入則是一項更為系統的工程。何文春介紹,過去氣象業務系統各自“立煙囪”的現象之所以廣泛存在,最大的原因就是各個系統有不同的需求,靠單一的模式無法完全滿足。作為首個融入“天擎”運行的業務系統,氣候監測預測分析系統(CIPAS)就有這樣的獨特需求。 進行氣候監測預測分析,需要很多帶地理信息標記的氣象數據。按照“天擎”當時設計的五種存儲技術,處理這種數據需要在提取氣象數據和地理信息后,再將二者進行疊加。對于CIPAS而言,這樣的模式會導致業務運行效率降低。因此,技術團隊與業務人員充分溝通,為“天擎”增加了存儲自帶地理信息和氣象數據的空間分析庫。這樣一來,CIPAS的業務需求得到了滿足,而“天擎”的支撐能力也得到進一步提升。 以“云原生”姿態誕生在“天擎”上的西北人工影響天氣作業指揮系統,面臨的則是完全不同的挑戰。由于后續新業務系統都將采用“云原生”模式,因此直接在云上開發的這一系統,需要為后來者“打樣”。經過統一開發后,西北人工影響天氣作業指揮系統“標準化”權威盡顯,在內蒙古、甘肅、陜西、青海、寧夏、新疆完成規范化部署僅用了不到三周時間。 需求與研發相互促進。以這樣的模式,“天擎”于2019年7月發布了國家級1.0版本,具備海量數據存儲、全業務貫通、數據高效應用等能力。接下來,這個平臺還需鋪向全國。 03 拔節生長 在省級氣象部門部署“天擎”并不是一項容易的工作。一方面,“天擎”構建于全新的大數據、云計算技術,技術門檻高;另一方面,“天擎”作為新業務技術體制的基座,規模龐大。CIMISS建成以來,省級技術力量得到增強,但對“天擎”的部署而言,仍有不足。 面對這樣的形勢,技術團隊采取開放合作的方式,大力引進省級技術人員開發建設,先后有50名來自省級氣象部門的技術人員參與。他們帶著需求來,帶著技術回,成為“天擎”在省級順利部署的骨干力量。2019年12月,31個省級氣象部門完成部署。 國省之間緊密合作,國家級業務單位之間同樣充分聯動,有7人先后帶著需求參與建設。在國家氣象信息中心內部,負責開發建設的系統工程室與負責用戶服務的資料服務室、負責運行維護的運行監控室配合更親密無間。 在“天擎”一步步成型的過程中,人才也在不斷成長。自投入“天擎”建設以來,團隊中有2人被聘為專業技術二級崗,3人晉升正高職稱;5人入選中國氣象局高層次人才,包括1名氣象領軍人才、1名首席氣象專家、2名青年氣象英才、1名西部和東北優秀氣象人才;4人被聘為中國氣象局重點工程副總指揮或副總師,10人被聘為一級系統總師或副總師;8人入選國家氣象信息中心或省局高層次人才。 今年12月15日,“天擎”經過近一年的試運行后,正式業務運行,但“天擎”的建設工作,卻還遠遠沒有結束。多數國家級、省級業務系統尚待融入,人工智能等先進技術在大數據云平臺上的應用有待攻關。未來,在建設過程中培養出的技術團隊,將成為“天擎”進一步拔節生長最重要的原動力。
優勢
“數算一體” 將帶來哪些改變?
12月15日8時,氣象大數據云平臺“天擎”正式業務化運行,面向全國提供“數算一體”平臺化服務。由于“天擎”在試運行中表現出色,這次切換因在情理之中而顯得“悄無聲息”,但隱藏在平靜的表面下的,則是“天擎”為氣象業務帶來的全方位、全鏈條升級。 01 推動觀測預報服務有機融合 以預報精準為龍頭,帶動監測精密和服務精細發展。要實現這樣的發展模式,“天擎”是必不可少的基礎。 各類業務系統融入“天擎”,并不僅僅意味著其在此運行和獲取數據,在業務運行中產生的數據和產品,同樣可以通過“天擎”進行規范化分享。這樣一來,各類觀測、預報、服務業務系統之間的距離就被前所未有地拉近,預報業務系統可以更高效地獲取各類觀測數據,服務系統可以更好地利用預報結論,各個系統之間共享數據、協同合作得以無縫銜接。 02 極大豐富數據資源 “天擎”提供了完整的數據資源。截至12月15日,“天擎”已經全面整合CIMISS原有數據、歷史歸檔數據、各類數據集及匯交數據,大幅增加國內外資料時間序列長度;數據資料達611種,記錄數達2214.9億條,每日新增2.96億條;全球地面、高空、海洋百年序列最早延伸至1901年,全球飛機報序列由4年延長至43年,雷達基數據序列由2年延長到13年。相比CIMISS,氣象大數據云平臺的數據完整性、數據質量均有不同幅度提升,資料元數據信息更完整、質量更高。 “天擎”提供了實時歷史一體化的高效數據服務。應用系統建設者或開發者,無需從各種來源尋找數據,建立收集渠道、數據清洗、解析存儲,只需申請數據使用賬戶,選擇應用需要的數據,即可高效訪問。 03 提升數據利用效能 “天擎”通過升級完善的數據存儲技術,進一步降低了業務運行的時間成本。基于消息中間件、數據流、文件傳輸、衛星廣播以及網絡爬蟲技術,“天擎”建立了多協議支撐的數據交換體系,能夠主動發現、自動收集各類數據,收集的同時即可處理。 針對氣象業務特點,“天擎”構建了分布式存儲體系,面向應用對數據進行再組織。面向天氣預報等對實時性要求高的數據,采用分布式表格系統,訪問時效達毫秒級;面向氣候等長序列分析應用,采用分布式分析型數據庫,分析時效達到秒級。此外,針對中間結果、實驗數據等自用數據,支持個性化存儲,存儲空間一次分配、自由使用。 04 降低應用開發成本 “天擎”提供了豐富的算法和算力資源,可有效降低應用開發成本,縮短上線周期。作為應用系統建設者或開發者,無需進行硬件資源的采購、安裝、部署和維護,只需提交應用融入方案,申請算法運行依賴的算力資源。同時,也無需對應用需要的所有算法進行開發,通過申請使用算法庫中共享的算法,實現算法復用,眾智共享。 對于應用中產品加工需要的存儲資源,通過申請“天擎”應用專題庫,不必自建獨立數據庫,大大降低運維成本,提高數據共享水平,有利于進行多源數據聯合分析。業務中產品的加工和生成,不僅需要相應的數據和算力,還需建立任務調度框架?!疤烨妗碧峁┑募庸ち魉€,實現了多種任務引擎調度,包含時間觸發、數據源觸發、事件觸發等,算法選擇相應的調度引擎即可配置任務,應用只需關注算法實現邏輯。
融入
全面“云化” 增效數倍
自“天擎”建設以來,各級氣象部門業務系統陸續開展融入工作,高效協同效益初步顯現。目前,“天擎”7×24小時不間斷運行,國家級及31個省級持續運行可靠性超過99.9%,國家級和省級的任務調度成功率均達100%,調度延遲控制在毫秒級。 氣候監測預測分析系統(CIPAS) 融入情況:系統架構全面“云化”,系統性能全面提升。 CIPAS融入后系統架構全面“云化”,實現數據、流程、平臺和監控全面融入。系統以預報員體驗為中心,在數據訪問、加工、算法運行、圖形可視化與產品生成等方面的性能得到全面提升,數據平均查詢時間縮減超過50%,70%以上需要長時間計算、定時生成的產品改為實時交互獲??;實現CIPAS3.0全國一級部署、業務試用。 西北區域人工影響天氣作業指揮軟件系統 融入情況:“云原生”開發,規范化部署便捷高效。 該系統基于“天擎”完成“云原生”模式的研發,并在6個省份完成統一規范化部署。第十四屆全國運動會期間,基于“天擎”提供的穩定計算和存儲資源支撐,該系統圓滿完成保障任務。 集約化網格預報新流程 融入情況:在預報實時訂正和預報一致性方面發揮關鍵作用。 基于“天擎”國省“一張網”,國家氣象中心與北京、河北建成從網格預報制作到數據應用全鏈條的智能網格預報新流程,并基于這一新流程加工制作2022年冬季奧運會賽區及周邊城市站點預報。從預報員訂正發布,到應用系統獲取修訂的預報信息,全流程僅需數十秒,在預報實時訂正和預報一致性方面發揮關鍵支撐作用。 綜合氣象觀測業務運行信息化平臺(“天元”) 融入情況:數據與算法集約管理,冗余度降低30%。 “天元”是首個完成改造并融入“天擎”的核心業務系統。融入后,數據與服務資源的集約化能力提升50%以上,產品加工時效提升30%以上,支撐了觀測業務的信息化高效運轉,并為后續項目融入提供參考示范;實現元數據“天擎”統一服務。 區域高分辨率數值預報檢驗評估系統 融入情況:數據讀取效率有效提升,推動算法集約化管理。 該系統完全基于“天擎”開發建設,實現區域數值預報降水的傳統檢驗、空間檢驗和過程評估,以及近地面要素檢驗。數據讀取效率有效提升,實現模式數據與觀測數據的直存直取?;凇疤烨妗碑a品加工流水線切實推動算法集約化管理,完成系統軟硬件的實時監控。 雷達估測降水系統 融入情況:系統流程優化,時效提升近一倍。 實現雷達基數據從“天擎”讀取、算法基于加工流水線調度運行、雷達產品回寫“天擎”,以及基于“天鏡”的全流程監視。系統融入“天擎”后,流程更優,減少了數據搬運環節,數據源直取、產品直存,產品服務時效提高近一倍。 寧夏智能化綜合氣象業務服務共享管理平臺 融入情況:數據入庫時效提升一倍,業務系統查詢、統計數據效率提高3~4倍。 數據、算法、系統、監控等同步開展融入工作,核心業務系統實現功能模塊重構。依托“天擎”的存儲和算力資源,業務系統運行效率得到顯著提升,數據入庫時效提高了一倍,業務系統查詢、統計數據的效率提高了3~4倍。 湖北省氣象預報服務業務一體化平臺 融入情況:100余種業務服務產品接入,82個算法剝離入“云”。 核心系統全面融入“天擎”,消除自建數據庫,100余種業務服務產品接入,82個算法剝離入“云”。融入后業務流程更加規范,數據及時性、算法運行效率和硬件資源利用率均顯著提升。