2016年10月27日至28日,SPEC(Standard Performance Evaluation Corporation,標準性能評估組織)于北京舉辦了SPEC 2016亞洲峰會,這也是SPEC組織自1988年成立以來首次在中國舉辦的峰會。
關(guān)于本次大會,一個很重要的問題就是:SPEC是什么?SPEC組織在峰會上的第一個議題就是介紹SPEC組織:
介紹
SPEC(Standard Performance Evaluation Corporation,標準性能評估組織)是一個全球性的第三方非營利性組織,致力于建立、維護和認證一套應(yīng)用于計算機的標準化基準評測套件,SPEC組織開發(fā)基準測試套件并經(jīng)過檢驗然后在SPEC網(wǎng)站上公開測試結(jié)果。
背景
SPEC,Standard Performance Evaluation Corporation,曾用名Standard Performance Evaluation Corporation,由一些工作站生產(chǎn)廠商成立于1988年,他們認為當時的市場迫切需要一種真實的、標準化的性能測試,最關(guān)鍵的認知是:An ounce of honest data was worth more than a pound of marketing hype(一盎司誠實的數(shù)據(jù)價值超過一磅的市場宣傳)。隨后SPEC組織很快成為最成功的性能標準化組織之一,擁有著超過60個的組織成員(到現(xiàn)在則是超過120個成員了)。
理念
SPEC組織的目標是為了讓市場上具有一個公平、有益的指標體系可以用來區(qū)分不同的計算機系統(tǒng)。SPEC的測試組件在不同的公司、組織當中進行挑選,這種組件在可以展現(xiàn)這些廠商的優(yōu)勢的同時也受到SPEC嚴格的限制。SPEC的理念是,一個好的測試,對其進行合理的利用將會讓測試結(jié)果在市場上具有真正的可用性。
基本的SPEC測試方法是給測試人員提供一組標準化的源代碼,這些源代碼基于現(xiàn)有的應(yīng)用軟件,并已經(jīng)被廣泛地移植到多種不同的平臺。測試人員對源代碼進行編譯,并可以通過調(diào)整測試系統(tǒng)以獲得最好的成績。使用已有應(yīng)用軟件的已移植源代碼可以極大地減少測試結(jié)果之間對比的問題。
架構(gòu)
SPEC是一個非營利性組織,向所有愿意支持SPEC組織或愿意支付相關(guān)費用的公司或者組織公開。最開始SPEC由一些設(shè)計CPU性能指標體系的工作站廠商組成,現(xiàn)在SPEC已經(jīng)進化為一個包含四個不同工作組的傘狀組織。
OSG(Open Systems Group,開放系統(tǒng)組)
開放系統(tǒng)組是最初的SPEC委員會,其主要關(guān)注運行著開放系統(tǒng)環(huán)境的桌面系統(tǒng)、高端工作站和服務(wù)器的基準測試。
HPG(High-Performance Group,高性能組)
高性能組是一個建立、維護和認證一組基于高性能計算應(yīng)用程序的標準化、跨平臺性能評測套件的論壇。
GWPG(Graphics and Workstation Performance Group,圖形與工作站性能組)
SPEC/GWPG圖形與工作站性能組是SPEC組織為了開發(fā)一致、可重復(fù)的圖形與工作站性能基準測試和報告流程的項目組。SPEC/GWPG基準測試基于流行的圖形與工作站應(yīng)用程序,因此可以反映真實的用戶體驗。
RG(SPEC Research Group,研究組)
SPEC研究組是一個新的工作組,用于推動用來開發(fā)基準測試軟件、性能分析框架的方法和工具的創(chuàng)新研究,這些方法和工具基于現(xiàn)有的或新出現(xiàn)的技術(shù)。
SPEC研究組被設(shè)計用來鼓勵學(xué)術(shù)界、工業(yè)界以及研究機構(gòu)之間的交流,這些概念性的研究工作包括用于計算系統(tǒng)性能測量的技術(shù)和工具、負載測試、剖析、工作負載表征、依賴性及效率評估。盡管焦點是性能,但系統(tǒng)額外的功能屬性如可擴展性、可用性、成本和能源效率也會被看重。
SPEC研究組的一個重要部分是為新出現(xiàn)的技術(shù)與應(yīng)用程序開發(fā)一個被稱為“研究基準測試”的標準化的場景和工作負載。SPEC研究組的基準測試主要用來深入分析和評估早期原型及研究結(jié)果,這和通常用于直接比較和購買現(xiàn)有產(chǎn)品的基準測試不同。
一些其它SPEC研究組的計劃還包括出版通訊列表和雜志、建立基準測試相關(guān)資源的網(wǎng)絡(luò)門戶、認可對基準測試的杰出貢獻以及組織會議與研討會。