omniture

云南天文臺:基于分布式存儲,為天文觀測構建新數據底座

2023-02-23 15:42 3508

北京2023年2月23日 /美通社/ -- 晴空萬里、群星璀璨的麗江高美古,在納西語中的釋義是"天氣好、星星多、離天最近的地方"。這里的年平均晴天超200天,視寧度達到世界優(yōu)良臺址的水平,大氣潔凈透明,抬頭可見滿天的繁星、清晰的銀河,近年來逐步成為國內重要的天文觀測站點,逐步成為國內外天文工作者的觀測圣地。建設在高美古的中國科學院云南天文臺麗江觀測站(以下簡稱麗江觀測站),擁有獨特的地理環(huán)境優(yōu)勢,經過多年的建設,逐步建設完成了2.4米、1.8米、1.6米等多種口徑規(guī)格光學望遠鏡和一批小口徑的遠程/自動望遠鏡、日冕儀、射電望遠鏡等科學觀測裝置,云南天文臺的南方天文觀測集群已經初具規(guī)模。

隨著天文觀測需求的不斷提升,天文觀測所產生的觀測數據量也越來越大,這也對數據存儲和處理提出了更高的要求。為此,麗江觀測站采用浪潮分布式存儲構建三級數據存儲平臺,為天文研究乃至今后的數字經濟產業(yè)研究提供有利的硬件平臺支撐。

云南天文臺麗江觀測站的2.4米光學望遠鏡
云南天文臺麗江觀測站的2.4米光學望遠鏡

天文觀測儀器背后驚人的數據需求

麗江觀測站擁有多種型號的天文望遠鏡,包括光學望遠鏡、日冕儀和射電望遠鏡,整個觀測站的觀測能力已經覆蓋了從光學到射電的波段范圍,每年能開展多項具有國際先進水平的天體物理觀測和研究工作。天文領域的科研工作者借助觀測儀器設備對星體進行觀測,并采集數據以便進一步研究。

近些年隨著新的天文觀測技術快速發(fā)展,觀測的廣度和精度得到極大提升,讓天文工作者更清晰觀測到天文目標,也更準確驗證已有物理模型。與此同時,新的天文觀測儀器采集的數據量也有了量級的提升,如麗江觀測站正在調試的云南大學1.6米多通道測光巡天望遠鏡,其中裝置了3臺大靶面的科學技術CCD相機,每個相機由4片9k*9k的芯片拼接而成,在觀測過程中三臺相機同時曝光,一次曝光就能產生近1GB的觀測數據,一個觀測夜的觀測數據量近3TB,一年的原始觀測數據接近1PB。如何有效傳輸觀測站眾多望遠鏡觀測采集的數據、支撐計算平臺高效分析和處理觀測數據、安全存儲原始數據和價值數據,給麗江天文觀測站的觀測數據管理提出了新的需求。

首先,數據性能需求。在數據采集過程中,天文望遠鏡觀測產生的數據,需要通過數據采集程序,實時地完成數據采集、數據預處理、計算、數據存盤等多個任務。數據量根據觀測設備數量及型號等因素會有不同,數據采集過程就對存儲提出了數GB/s至數十GB/s的帶寬需求,以保障數據穩(wěn)定寫入。數據計算過程,作為以數據為驅動的天文觀測任務,科研計算平臺需要存儲集群平臺提供數十GB/s聚合帶寬的讀寫能力以保證計算任務并行的高效性。在實現用戶數據共享的同時,還要針對不同的用戶進行權限控制和配額限制,以實現存儲數據的安全高效使用。

其次,數據的長期保存需求。天文觀測的原始數據要通過合理的生命周期管理系統進行永久歸檔保留,數據的自動化遷移歸檔、數據的安全性、歸檔數據長期保存成本、存儲的易擴展性是數據歸檔存儲考慮的重要因素。

分層存儲方案滿足不同天文數據的需求

麗江觀測站為了滿足天文科研工作者對望遠鏡觀測數據的存儲和分析處理過程中高帶寬存儲資源需求,從而滿足大量文件的頻繁讀寫,采用了浪潮的計算節(jié)點和分布式存儲搭建了三級分層的存儲資源池,通過浪潮分布式存儲高性能節(jié)點AS13000G5-H搭建高速存儲層提供并行讀寫能力,滿足前端多個計算節(jié)點同時在存儲上進行數據讀寫的需求;采用浪潮分布式存儲AS13000G5-M系列4U60高密節(jié)點提供2PB低速存儲空間,用于存儲前端回傳的觀測原始數據以及計算集群計算處理后的歸檔數據。

浪潮存儲
浪潮存儲

為天文觀測任務提供性能保障

浪潮AS13000G5-H通過私有客戶端,能夠使接收到的數據并發(fā)寫入每個數據節(jié)點,打破傳統存儲的單存儲節(jié)點性能限制,通過RDMA協議,有效降低數據傳輸過程中的時延,進一步提升傳輸效率,單存儲節(jié)點性能可達到GB/s讀寫帶寬。通過并行文件系統可以添加更多的存儲節(jié)點,性能和容量隨節(jié)點數的增加而線性增長。

科研項目的階段性增長可以按需滿足、高效運維

為保障天文數據長期可靠保存、彈性擴展的需求,浪潮存儲在架構和運維方面進行了創(chuàng)新。

擴展性方面,浪潮存儲基于分布式存儲架構支持靈活擴展,可隨著天文科研項目需求橫向擴展,運用獨特的擴容算法,在擴容同時可保障業(yè)務性能無明顯波動,性能與容量隨著節(jié)點的擴展而線性增長,避免對現有接收業(yè)務和科研計算任務讀寫訪問性能造成影響,存儲空間可達到EB級別,滿足了未來天文觀測儀器設備提升的存儲增長需求。

在可靠性方面,浪潮分布式存儲采用糾刪策略,允許多個節(jié)點損壞時業(yè)務不中斷,保證觀測任務以及計算任務7x24小時的連續(xù)業(yè)務訪問,保障天文工作者科研項目順利進行。同時還可搭配InView智能管理平臺,對于天文觀測海量數據中心的設備進行管理,提供容量、性能、故障等預測性分析等一系列智能化功能,幫助運維人員預防硬件潛在故障,同時降低存儲的復雜性和維護成本。

占地260余畝麗江觀測站園區(qū)里運行的光學望遠鏡每年都要執(zhí)行數千次的觀測任務,積累大量的原始觀測數據,這些觀測數據幫助科研工作者取得了大量研究成果,加速中國天文研究的發(fā)展。如借助2.4米望遠鏡光譜觀測發(fā)現了數十個高紅移類星體,不斷刷新中國發(fā)現類星體的紅移記錄;通過系外行星的精確視向速度搜尋工作,已經發(fā)現若干顆系外行星候選源;擅長搜尋新的凌食系外行星系統的寬視場巡天望遠鏡(小口徑望遠鏡),幫助科學家們發(fā)現了10多顆凌食系外行星候選體以及200多顆其它類型的變源。正在建設的云南大學1.6米多通道測光巡天望遠鏡,建成后將通過3臺相機進行同時曝光的巡天觀測,將直接提供星空的"彩色電影"。

未來云南天文臺麗江觀測站也將在此基礎上,不斷進行天文學高新技術創(chuàng)新,為天文學的科學應用研究服務提供高質量的觀測數據,發(fā)揮南方天文觀測集群的前沿作用,推動天文領域研究的快速發(fā)展,探索宇宙奧秘。

消息來源:浪潮信息
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯網、科技、媒體、通訊企業(yè)的經營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection