北京2021年7月5日 /美通社/ -- 6月26日,由浪潮數(shù)據(jù)與開源基礎(chǔ)設(shè)施基金會(huì)聯(lián)合籌備,以“來(lái)自中國(guó)的貢獻(xiàn)”為主題的OpenInfra Q2 meetup正式拉開帷幕。
會(huì)上,來(lái)自開源基礎(chǔ)設(shè)施基金會(huì)及木蘭開源社區(qū)的代表分別就國(guó)內(nèi)開源發(fā)展態(tài)勢(shì)和企業(yè)技術(shù)貢獻(xiàn)等內(nèi)容展開深入分享與探討。來(lái)自浪潮數(shù)據(jù)、烽火通信、九州云以及英特爾國(guó)內(nèi)的資深技術(shù)專家,分享并深入剖析了各家在開源社區(qū)貢獻(xiàn)新開源項(xiàng)目的未來(lái)的開源項(xiàng)目并深入探討了開源社區(qū)未來(lái)的發(fā)展愿景。
開源不止理想 更多落地實(shí)踐待關(guān)注
“伴隨云計(jì)算發(fā)展對(duì)行業(yè)的深度賦能,如何圍繞創(chuàng)新實(shí)踐案例以及落地場(chǎng)景來(lái)搭建行之有效的開源開放技術(shù),是基金會(huì)關(guān)注的重要方向之一,因?yàn)殚_源軟件不止是理想與風(fēng)花雪月,更重要的是在商業(yè)實(shí)踐方面扎根落地。”開源基礎(chǔ)設(shè)施基金會(huì)李昊陽(yáng)總結(jié)道。
基于此今年8月如約而至的OpenInfra Days China的主題將會(huì)鎖定“下一個(gè)十年的開源基礎(chǔ)設(shè)施”,集中面向5G新基建、工業(yè)智能化轉(zhuǎn)型、云原生基礎(chǔ)設(shè)施以及云網(wǎng)融合與開源治理等話題深度延展,“當(dāng)然,我們依然是將OpenStack、邊緣計(jì)算、硬件加速網(wǎng)絡(luò)與存儲(chǔ)等技術(shù)作為開源社區(qū)長(zhǎng)期發(fā)展的重要目標(biāo)?!?span id="spanHghlt99c1">李昊陽(yáng)進(jìn)一步補(bǔ)充道。
開放、融合、敏捷、智能:詳解OpenStack社區(qū)貢獻(xiàn)實(shí)踐與優(yōu)化
過(guò)去一年時(shí)間,人們驚喜地發(fā)現(xiàn),越來(lái)越多的企業(yè)和組織積極參與到了開源基礎(chǔ)設(shè)施社區(qū)。以浪潮數(shù)據(jù)為例,一直堅(jiān)持初心,從實(shí)踐中來(lái)到實(shí)踐中去,將來(lái)自客戶的真實(shí)需求及在研發(fā)項(xiàng)目上的創(chuàng)新實(shí)踐以貢獻(xiàn)開源項(xiàng)目或highlights的形式回饋開源社區(qū)并初具技術(shù)領(lǐng)導(dǎo)力。
浪潮數(shù)據(jù)研發(fā)部總經(jīng)理亓開元在活動(dòng)致辭中表示,一直以來(lái)浪潮秉承“開放、融合、敏捷、智能”的理念,主要圍繞高效能、高并發(fā)、高可用、資源融合、多云融合、云數(shù)智融合以及智能運(yùn)維與智能服務(wù)等方面持續(xù)進(jìn)行優(yōu)化創(chuàng)新,為各行各業(yè)提供數(shù)字轉(zhuǎn)型、智能升級(jí)、融合創(chuàng)新基礎(chǔ)設(shè)施。
“尤其在標(biāo)準(zhǔn)化的基準(zhǔn)測(cè)試工作方面,以大規(guī)模的測(cè)試驗(yàn)證與SpecCloud基準(zhǔn)測(cè)試為代表,云海研發(fā)團(tuán)隊(duì)從中不斷技術(shù)完善并自我創(chuàng)新。通過(guò)500節(jié)點(diǎn)以及1000節(jié)點(diǎn)兩次大規(guī)模測(cè)試認(rèn)證,不但檢驗(yàn)了云海OS在大規(guī)模場(chǎng)景下的敏捷交付、極致擴(kuò)展性、性能優(yōu)化以及智能運(yùn)維等能力,更為業(yè)界在大規(guī)模落地實(shí)踐中提供了參考設(shè)計(jì)的規(guī)范和高可用、高效率、高可靠的規(guī)格?!必灵_元說(shuō)。
在技術(shù)創(chuàng)新、產(chǎn)品研發(fā)以及社區(qū)貢獻(xiàn)方面,浪潮數(shù)據(jù)始終努力推進(jìn)OpenStack產(chǎn)業(yè)化進(jìn)程,連續(xù)近幾個(gè)版本社區(qū)貢獻(xiàn)國(guó)內(nèi)第一并將對(duì)標(biāo)Horizon的全新OpenStack Dashboard項(xiàng)目貢獻(xiàn)木蘭社區(qū)進(jìn)行孵化,為更多使用OpenStack項(xiàng)目的企業(yè)提供幫助。
在工信部信通院組織的大規(guī)模能力評(píng)測(cè)中,浪潮云海Insight憑借其集群聯(lián)邦技術(shù)、跨機(jī)房調(diào)度和超大規(guī)模集群的管控能力,不但一次性通過(guò)了5000+節(jié)點(diǎn)的大規(guī)模集群測(cè)試,成績(jī)更是優(yōu)異并穩(wěn)居行業(yè)內(nèi)Top3。
充分證明以O(shè)penStack為核心構(gòu)建的云基礎(chǔ)設(shè)施,不僅滿足傳統(tǒng)核心應(yīng)用的需求,還在極大程度上滿足新興的大數(shù)據(jù)、機(jī)器學(xué)習(xí)在上云過(guò)程中的復(fù)雜場(chǎng)景要求,以云海OS產(chǎn)品為代表的商業(yè)版產(chǎn)品廣泛應(yīng)用于金融、政府、教育、銀行等諸多領(lǐng)域,并獲得一致好評(píng)。
在活動(dòng)中,以浪潮數(shù)據(jù)云計(jì)算架構(gòu)師張百林為代表的浪潮云海OS技術(shù)研發(fā)團(tuán)隊(duì)還深入分享了OpenStack社區(qū)貢獻(xiàn)實(shí)踐與優(yōu)化。
詳解了如何貢獻(xiàn)社區(qū),如何參與社區(qū)峰會(huì)等基本情況,還著重結(jié)合浪潮云海1000節(jié)點(diǎn)大規(guī)模云數(shù)智融合實(shí)踐,全面介紹了在高可用、計(jì)算存儲(chǔ)功能方面的優(yōu)化實(shí)踐,內(nèi)容涵蓋計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等方面,重點(diǎn)對(duì)批量創(chuàng)建虛機(jī)等待網(wǎng)卡超時(shí)和消息隊(duì)列DHCP Agent消息積壓等致使虛擬機(jī)創(chuàng)建失敗、Qcow2格式鏡像啟動(dòng)虛擬機(jī)慢、大規(guī)模主機(jī)故障疏散錯(cuò)亂等主要疑難問(wèn)題進(jìn)行了深入的闡釋,對(duì)比分析OpenStack社區(qū)原生計(jì)算、存儲(chǔ)、高可用等功能的優(yōu)化及價(jià)值體現(xiàn),并提出未來(lái)基于OpenStack技術(shù)創(chuàng)新達(dá)成的規(guī)劃目標(biāo)。
浪潮數(shù)據(jù)云計(jì)算高級(jí)研發(fā)工程師宋文平:基于異步IO和多隊(duì)列的磁盤性能優(yōu)化,有效提升了vGPU性能并降低GPU損耗,優(yōu)化資源同步機(jī)制,性能提升高達(dá)30%。
浪潮數(shù)據(jù)云計(jì)算高級(jí)研發(fā)工程師蘇正偉:針對(duì)大規(guī)模主機(jī)故障這個(gè)比較難解決的問(wèn)題,我們通過(guò)引入設(shè)計(jì)了自適應(yīng)的恢復(fù)控制規(guī)則,通過(guò)排隊(duì)、熔斷、限流、降級(jí)重試等方式,做到發(fā)生故障時(shí)優(yōu)先保障高價(jià)值的云主機(jī)優(yōu)先疏散,通過(guò)熔斷和限流在云平臺(tái)不具備故障恢復(fù)時(shí)來(lái)確保云平臺(tái)的穩(wěn)定性和高可靠性。
浪潮數(shù)據(jù)云計(jì)算高級(jí)研發(fā)工程師海鑫:在云存儲(chǔ)方向,cinder模塊通過(guò)自研智能鏡像緩存算法,在提高緩存命中率的同時(shí)可降低鏡像卷創(chuàng)建耗時(shí)80%。manila模塊新增文件存儲(chǔ)類型修改,用戶消息查詢?cè)鰪?qiáng)、限制共享實(shí)例大小等功能,極大地提高了平臺(tái)易用性。
源于開源、饋于開源:實(shí)力詮釋Venus項(xiàng)目核心技術(shù)
浪潮數(shù)據(jù)云計(jì)算架構(gòu)師逄立業(yè)為與會(huì)技術(shù)研發(fā)人員詳盡介紹了Venus項(xiàng)目的關(guān)鍵架構(gòu)與核心技術(shù)。
Venus作為浪潮貢獻(xiàn)OpenStack社區(qū)的日志管理項(xiàng)目,可以一站式滿足OpenStack日志的采集、清洗、索引、分析、告警、可視化、生成報(bào)告等需求,幫助運(yùn)維人員快速檢索問(wèn)題,掌握平臺(tái)的運(yùn)行健康度。
簡(jiǎn)單來(lái)說(shuō)在檢索工作上,主要提供了簡(jiǎn)單易用的檢索方式,可以做到檢索一切日志數(shù)據(jù),定位日志上下文;分析上主要實(shí)現(xiàn)日志關(guān)聯(lián)、字段數(shù)值統(tǒng)計(jì),提供多場(chǎng)景、多維度的可視化分析報(bào)表;告警層面則將搜索轉(zhuǎn)化為主動(dòng)告警,實(shí)現(xiàn)海量日志中錯(cuò)誤的“大海撈針”;定位主要是通過(guò)建立知識(shí)圖譜和調(diào)用的鏈?zhǔn)疥P(guān)系,結(jié)合算法實(shí)現(xiàn)故障的快速定位。
以日志預(yù)處理為例。對(duì)于日志數(shù)據(jù),OpenStack社區(qū)從開始開發(fā)就制定了嚴(yán)格的日志規(guī)范,大部分模塊都遵守此規(guī)范,即社區(qū)規(guī)定的日志格式為<時(shí)間戳><日志等級(jí)><代碼模塊><Request ID><日志內(nèi)容><源代碼位置> 。此種日志很容易進(jìn)行預(yù)處理,拆分成多種維度進(jìn)行索引。
如今開源到OpenStack社區(qū)的Venus項(xiàng)目現(xiàn)已具備基本的日志分析處理功能,總結(jié)一下主要為:
全文/多維度檢索:針對(duì)全文或已索引維度進(jìn)行關(guān)鍵詞檢索(可模糊匹配)
多維度統(tǒng)計(jì)/展示:對(duì)已索引的一個(gè)或多個(gè)維度的日志條數(shù)進(jìn)行統(tǒng)計(jì)并展示
典型錯(cuò)誤分析:集成典型的錯(cuò)誤分析,例如MariaDB連接錯(cuò)誤等
錯(cuò)誤日志告警:當(dāng)周期內(nèi)錯(cuò)誤日志條數(shù)超過(guò)閾值,進(jìn)行告警并通知
調(diào)用鏈分析:對(duì)系統(tǒng)中的調(diào)用,根據(jù)global_requestid進(jìn)行流程分析
API執(zhí)行狀態(tài)/耗時(shí):對(duì)記錄API調(diào)用狀態(tài)的模塊,可以統(tǒng)計(jì)API執(zhí)行的狀態(tài)和時(shí)間消耗
整體而言,Venus通過(guò)集合廣大用戶在日志領(lǐng)域的需求和實(shí)踐,提供各場(chǎng)景日志分析并集成算法和知識(shí)圖譜實(shí)現(xiàn)故障的快速定位,構(gòu)建完備的日志運(yùn)維場(chǎng)景,并在未來(lái)計(jì)劃引用機(jī)器學(xué)習(xí)算法,快速定位IT故障及根因,提高運(yùn)維效率以及平臺(tái)管理的水平。
活動(dòng)中,英特爾亞太研發(fā)有限公司數(shù)據(jù)平臺(tái)事業(yè)部解決方案架構(gòu)師高仲、九州云研發(fā)工程師高瀚翔以及烽火通信的架構(gòu)師李煜琦,還分別就OpenCloud根植于開源生態(tài)的實(shí)踐與創(chuàng)新、Skyline開發(fā)核心的理念以及易擴(kuò)展、易定制、易衍生、易融合的多云管理架構(gòu)等內(nèi)容展開了深入解析。
一直以來(lái),浪潮云海都通過(guò)對(duì)開源開放技術(shù)的攻堅(jiān),突破開源版本在性能、大規(guī)模管理能力方面的瓶頸。面向未來(lái),浪潮數(shù)據(jù)將持續(xù)秉承“源于開源、饋于開源”的理念,打造云海OS硬核技術(shù)實(shí)力,圍繞智算操作系統(tǒng)核心引擎的產(chǎn)品定位,以O(shè)penStack、Kubernetes等開放基礎(chǔ)設(shè)施為底座,持續(xù)構(gòu)建起云數(shù)智一體化解決方案,助力業(yè)界共同構(gòu)建開放統(tǒng)一的智能基礎(chǔ)設(shè)施,推動(dòng)企業(yè)數(shù)字化、智能化轉(zhuǎn)型。