北京2020年12月3日 /美通社/ -- 在亞馬遜云服務(wù)(AWS)舉辦的年度盛會(huì) -- AWS re:Invent上,AWS宣布推出四項(xiàng)存儲(chǔ)創(chuàng)新,為客戶帶來(lái)了更多的存儲(chǔ)性能、彈性和價(jià)值,包括:
EBS io2 Block Express 存儲(chǔ)卷提供了首個(gè)為在SAN上運(yùn)行的工作負(fù)載而構(gòu)建的云存儲(chǔ)服務(wù)
因?yàn)閕o2存儲(chǔ)卷(最新一代預(yù)置IOPS存儲(chǔ)卷)能提供99.999%(5個(gè)9)的耐用性和比通用EBS存儲(chǔ)卷 高4倍的IOPS,客戶往往選擇它來(lái)運(yùn)行關(guān)鍵的、性能密集型應(yīng)用程序,例如SAP HANA,Microsoft SQL Server,IBM DB2,MySQL,PostgresSQL和Oracle數(shù)據(jù)庫(kù)。某些應(yīng)用程序需要單個(gè)io2存儲(chǔ)卷所無(wú)法提供的更高的IOPS、吞吐量或容量,為了滿足其所需的性能,客戶通常將多個(gè)io2 存儲(chǔ)卷進(jìn)行條帶化組合。在工作負(fù)載性能要求更高的情況下,客戶不得不將更多的io2存儲(chǔ)卷進(jìn)行條帶化組合,由此帶來(lái)了更大的部署及管理復(fù)雜度和成本增加。許多客戶歷來(lái)使用本地部署的SAN架構(gòu)(使用本地部署的存儲(chǔ)資源)來(lái)滿足高性能工作負(fù)載的需求。但是這些SAN缺點(diǎn)眾多,高昂的前期購(gòu)置成本導(dǎo)致它們價(jià)格昂貴,需要復(fù)雜的預(yù)測(cè)才能確保有足夠的容量,這繁雜且難以管理,并且消耗了寶貴的數(shù)據(jù)中心空間和網(wǎng)絡(luò)容量。當(dāng)客戶超出SAN的現(xiàn)有容量時(shí),他們必須另外購(gòu)買(mǎi)一套完整的SAN或進(jìn)行復(fù)雜的擴(kuò)容,這種方式價(jià)格昂貴且迫使客戶為未使用的容量付費(fèi)。客戶告訴我們,他們一直希望在云中擁有SAN的功能和性能 -- 現(xiàn)在終于能夠?qū)崿F(xiàn)了。
EBS Block Express是一種全新的存儲(chǔ)架構(gòu),為客戶提供了首個(gè)為在SAN上運(yùn)行的工作負(fù)載而構(gòu)建的云存儲(chǔ)服務(wù)。 EBS Block Express專為需要高IOPS、高吞吐量、高耐用性、高存儲(chǔ)容量和低延遲的Oracle,SAP HANA,Microsoft SQL Server和SAS Analytics等大型、I/O密集型任務(wù)關(guān)鍵型部署而設(shè)計(jì)。通過(guò)在Block Express上運(yùn)行io2存儲(chǔ)卷,單個(gè)io2存儲(chǔ)卷可以配置高達(dá)256,000 IOPS, 4,000 MB /秒的吞吐量,并提供64 TB的單卷容量 -- 這在所有參數(shù)上都比現(xiàn)有io2存儲(chǔ)卷提高4倍。此外,io2 Block Express存儲(chǔ)卷可以為客戶的延遲敏感型應(yīng)用提供一致的亞毫秒級(jí)延遲??蛻暨€可以將多個(gè)io2 Block Express 存儲(chǔ)卷?xiàng)l帶化在一起,以獲得比單個(gè)存儲(chǔ)卷更好的性能。 Block Express通過(guò)完全重構(gòu)的基礎(chǔ)EBS硬件、軟件和網(wǎng)絡(luò)堆棧,幫助io2存儲(chǔ)卷實(shí)現(xiàn)此性能提升。通過(guò)在硬件層將計(jì)算與存儲(chǔ)解耦,并重新編寫(xiě)代碼,EBS Block Express可以達(dá)到新的性能水平,并縮短創(chuàng)新的時(shí)間。通過(guò)重寫(xiě)網(wǎng)絡(luò)堆棧以利用高性能Scalable Reliable Datagrams(SRD)網(wǎng)絡(luò)協(xié)議,Block Express大大減少了延遲。這些改進(jìn)適用于非預(yù)付費(fèi)客戶使用io2 Block Express存儲(chǔ)卷,并且客戶可以在無(wú)需預(yù)付費(fèi)的情況下配置和擴(kuò)展容量。
在接下來(lái)的幾個(gè)月里,Block Express 存儲(chǔ)卷將添加其它SAN功能,包括支持I/O fencing的多重掛載,使客戶能夠同時(shí)將多個(gè)實(shí)例安全地連接到單個(gè)存儲(chǔ)卷,快速快照還原,支持彈性卷以動(dòng)態(tài)擴(kuò)展EBS存儲(chǔ) 卷容量、更改卷類型和性能。 要了解更多有關(guān)io2 Block Express存儲(chǔ)卷的信息,請(qǐng)?jiān)L問(wèn):https://aws.amazon.com/ebs
EBS Gp3 存儲(chǔ)卷使IOPS與存儲(chǔ)容量脫鉤,提供了更高的性能,且價(jià)格比上一代存儲(chǔ)卷降低20%
客戶使用EBS 存儲(chǔ)卷來(lái)支持廣泛的工作負(fù)載,例如關(guān)系和非關(guān)系數(shù)據(jù)庫(kù)(比如Microsoft SQL Server和Oracle)、企業(yè)應(yīng)用程序、容器化應(yīng)用程序、大數(shù)據(jù)分析引擎、分布式文件系統(tǒng)、虛擬桌面、開(kāi)發(fā)/測(cè)試環(huán)境和媒體工作流程。 Gp2存儲(chǔ)卷使客戶能夠輕松、經(jīng)濟(jì)高效地滿足其中許多工作負(fù)載的IOPS和吞吐量要求,但是單個(gè)Gp2 存儲(chǔ)卷無(wú)法提供某些應(yīng)用程序需要的更高IOPS。因?yàn)镚p2存儲(chǔ) 卷的性能會(huì)隨著存儲(chǔ)容量的增長(zhǎng)而擴(kuò)展,因此客戶可以通過(guò)配置更大的存儲(chǔ)卷來(lái)為其應(yīng)用程序獲得更高的IOPS和吞吐量。然而,某些應(yīng)用程序需要更高的性能,而不需要更高的存儲(chǔ)容量(例如MySQL和Cassandra之類的數(shù)據(jù)庫(kù))。這些客戶最終可能會(huì)為獲得所需的IOPS性能,而承擔(dān)超出其所需存儲(chǔ)空間的費(fèi)用。運(yùn)行這些工作負(fù)載的客戶希望滿足其性能需求,而不必調(diào)配更大的存儲(chǔ)量并為此付費(fèi)。
下一代Gp3存儲(chǔ)卷使客戶能夠獨(dú)立于存儲(chǔ)容量來(lái)配置IOPS和吞吐量。對(duì)于需要更高性能的工作負(fù)載,客戶可以修改Gp3存儲(chǔ)卷以提供所需的IOPS和吞吐量,而不必增加更多的存儲(chǔ)容量。 Gp3存儲(chǔ)卷可提供3,000 IOPS和125 MB /秒的持續(xù)基準(zhǔn)性能,并能夠提供至多16,000 IOPS和1,000 MB /秒的峰值吞吐量(比Gp2增加4倍)。除了通過(guò)允許客戶獨(dú)立于存儲(chǔ)以擴(kuò)展IOPS來(lái)節(jié)省資金外,Gp3 volume每GB的價(jià)格比現(xiàn)有Gp2降低20%??蛻艨梢允褂肊lastic Volumes輕松地將Gp2存儲(chǔ)卷遷移到Gp3存儲(chǔ)卷,Elastic Volumes是EBS現(xiàn)有的一種功能,允許客戶修改其現(xiàn)有EBS存儲(chǔ)卷的卷類型、IOPS、存儲(chǔ)容量和吞吐量,而無(wú)需中斷其Amazon Elastic Compute Cloud(EC2)實(shí)例??蛻暨€可以使用AWS管理控制臺(tái),AWS命令行界面(CLI)或AWS開(kāi)發(fā)工具包輕松創(chuàng)建新的Gp3存儲(chǔ)卷并擴(kuò)展性能。要開(kāi)始使用Gp3存儲(chǔ)卷,請(qǐng)?jiān)L問(wèn):https://aws.amazon.com/ebs/
Amazon S3 智能分層擴(kuò)展支持S3 Glacier歸檔型和深度歸檔型,客戶使用對(duì)象存儲(chǔ)的成本可降低多至95%
S3 智能分層可針對(duì)訪問(wèn)模式未知或不斷變化的數(shù)據(jù),自動(dòng)優(yōu)化存儲(chǔ)成本。對(duì)于存儲(chǔ)中對(duì)象不斷變化的訪問(wèn)模式,它是首個(gè)也是唯一一個(gè)自動(dòng)優(yōu)化成本的云存儲(chǔ)解決方案。 S3智能分層已被那些擁有不同存儲(chǔ)訪問(wèn)模式(如數(shù)據(jù)湖)或未知存儲(chǔ)訪問(wèn)模式(如新推出的應(yīng)用程序)的客戶所廣泛采用。之前,S3智能分層對(duì)存儲(chǔ)收費(fèi)分為兩個(gè)定價(jià)層:標(biāo)準(zhǔn)存儲(chǔ)層用于頻繁訪問(wèn)(如實(shí)時(shí)數(shù)據(jù)查詢),成本優(yōu)化層用于非經(jīng)常訪問(wèn)(如批量查詢)。然而,許多AWS客戶為了降低冷數(shù)據(jù)的存儲(chǔ)成本,已經(jīng)使用了S3 Glacier或S3 Glacier深度歸檔。在今天之前,客戶需要手動(dòng)構(gòu)建自己的應(yīng)用程序,以監(jiān)控和記錄針對(duì)單個(gè)對(duì)象的訪問(wèn),從而確定哪些對(duì)象很少被訪問(wèn)且需要轉(zhuǎn)移到歸檔存儲(chǔ)之中。然后,他們需要手動(dòng)移動(dòng)這些對(duì)象。
Amazon S3智能分層擴(kuò)展支持S3 Glacier歸檔型和深度歸檔型,進(jìn)一步增強(qiáng)了云中首個(gè)也是唯一能提供動(dòng)態(tài)成本優(yōu)化的存儲(chǔ)類別。現(xiàn)在,S3智能分層可以在四個(gè)不同的訪問(wèn)層(頻繁、不頻繁、歸檔和深度歸檔)上進(jìn)行自動(dòng)分層和成本優(yōu)化。通過(guò)使用S3智能分層,長(zhǎng)期不訪問(wèn)的數(shù)據(jù)會(huì)在180天或更長(zhǎng)時(shí)間內(nèi)自動(dòng)地從頻繁訪問(wèn)層轉(zhuǎn)移到深度歸檔層,客戶可以節(jié)省高達(dá)95%的存儲(chǔ)成本。一旦客戶激活了其中一個(gè)或兩個(gè)歸檔訪問(wèn)層,S3智能分層將自動(dòng)將90天未訪問(wèn)的對(duì)象轉(zhuǎn)移到歸檔訪問(wèn)層,并在180天后將其轉(zhuǎn)移到深度歸檔訪問(wèn)層。 S3智能分層可借助S3 Inventory來(lái)顯示對(duì)象的存儲(chǔ)層級(jí),以及通過(guò)S3 Replication將數(shù)據(jù)復(fù)制到任何AWS區(qū)域。使用S3智能分層時(shí)不收取檢索費(fèi)用,而在訪問(wèn)層之間轉(zhuǎn)移對(duì)象時(shí)也不收取額外的分層費(fèi)用。支持S3 Glacier歸檔型和深度歸檔型的S3智能分層現(xiàn)已在所有AWS區(qū)域中可用。要開(kāi)始使用Amazon S3智能分層,請(qǐng)?jiān)L問(wèn):https://aws.amazon.com/s3/storage-classes/
Amazon S3 Replication提供了將數(shù)據(jù)復(fù)制至同一或不同AWS區(qū)域中的多個(gè)S3存儲(chǔ)桶的能力
客戶現(xiàn)在可以使用S3 Replication在同一AWS區(qū)域內(nèi)或不同AWS區(qū)域之間創(chuàng)建其數(shù)據(jù)副本,以滿足合規(guī)性、低延遲或跨帳戶共享數(shù)據(jù)的需求。一些客戶還需要將數(shù)據(jù)復(fù)制到多個(gè)目的地(同一AWS區(qū)域或多個(gè)AWS區(qū)域的多個(gè)S3存儲(chǔ)桶),以滿足數(shù)據(jù)主權(quán)要求,支持跨區(qū)域分布團(tuán)隊(duì)之間的協(xié)作,或在多個(gè)AWS區(qū)域內(nèi)維護(hù)相同的數(shù)據(jù)集以實(shí)現(xiàn)彈性。之前為了實(shí)現(xiàn)這一目標(biāo),客戶必須通過(guò)監(jiān)控S3事件以識(shí)別任何新創(chuàng)建的對(duì)象來(lái)構(gòu)建自己的多目的地復(fù)制服務(wù)。然后,他們將這些事件分散到多個(gè)隊(duì)列中,調(diào)用AWS Lambda函數(shù)將對(duì)象復(fù)制到每個(gè)目的地的S3存儲(chǔ)桶,跟蹤每個(gè)API調(diào)用的狀態(tài)并匯總結(jié)果??蛻暨€需要監(jiān)控和維護(hù)這些系統(tǒng),這都會(huì)增加費(fèi)用和運(yùn)營(yíng)開(kāi)支。
借助S3 Replication(multi-destination),客戶不再需要為跨多個(gè)AWS區(qū)域復(fù)制數(shù)據(jù)而開(kāi)發(fā)自己的解決方案。客戶現(xiàn)在可以使用S3 Replication將數(shù)據(jù)復(fù)制到同一AWS區(qū)域或多個(gè)AWS區(qū)域的多個(gè)存儲(chǔ)桶,或者將兩者結(jié)合使用,使用統(tǒng)一的的基于策略的管理方法來(lái)監(jiān)控?cái)?shù)據(jù)復(fù)制狀態(tài)和指標(biāo)。例如,客戶現(xiàn)在可以輕松地將數(shù)據(jù)復(fù)制到不同AWS區(qū)域中的多個(gè)S3存儲(chǔ)桶 -- 一個(gè)用于主存儲(chǔ),一個(gè)用于歸檔,一個(gè)用于災(zāi)難恢復(fù)??蛻暨€可以將數(shù)據(jù)集和更新分發(fā)至所有AWS區(qū)域,以實(shí)現(xiàn)低延遲。借助S3 Replication(multi-destination),客戶還可以為不同的目的地指定不同的存儲(chǔ)類別,以節(jié)省存儲(chǔ)成本并滿足數(shù)據(jù)合規(guī)性要求(例如,客戶可以將S3智能分層存儲(chǔ)類別用于兩個(gè)AWS區(qū)域中的數(shù)據(jù),在另外一個(gè)區(qū)域復(fù)制到S3 Glacier 深度歸檔中以獲取低成本數(shù)據(jù)歸檔)。 S3 Replication(multi-destination)完全支持現(xiàn)有的S3 Replication功能,如復(fù)制時(shí)間控制,以提供有SLA保證的可預(yù)測(cè)的復(fù)制時(shí)間,以滿足其合規(guī)性或業(yè)務(wù)要求??蛻暨€可以使用Amazon CloudWatch提供的監(jiān)控指標(biāo),事件和對(duì)象級(jí)復(fù)制狀態(tài)來(lái)監(jiān)控其復(fù)制作業(yè)。可以使用S3管理控制臺(tái),AWS CloudFormation或通過(guò)AWS CLI或AWS開(kāi)發(fā)工具包配置S3 Replication(multi-destination)。要開(kāi)始使用S3 Replication(multi-destination),請(qǐng)?jiān)L問(wèn):https://aws.amazon.com/s3/features
AWS負(fù)責(zé)存儲(chǔ)服務(wù)的副總裁Mai-Lan Tomsen Bukovec表示:“未來(lái)三年產(chǎn)生的數(shù)據(jù)將比過(guò)去30年更多,機(jī)構(gòu)和開(kāi)發(fā)者都需要通過(guò)云來(lái)存儲(chǔ)大量的數(shù)據(jù),存儲(chǔ)技術(shù)也需要相應(yīng)的革新。 今天的全新發(fā)布,提供了全新的為在SAN上運(yùn)行的工作負(fù)載而構(gòu)建的云存儲(chǔ)服務(wù),客戶的海量數(shù)據(jù)可通過(guò)智能分層來(lái)自動(dòng)優(yōu)化成本。同時(shí),讓數(shù)據(jù)在全球范圍內(nèi)按需復(fù)制和轉(zhuǎn)移變得更加簡(jiǎn)單,讓客戶能更加有效地管理這一新常態(tài)?!?/p>
Teradata是云數(shù)據(jù)分析平臺(tái)公司,可解決大規(guī)模的復(fù)雜數(shù)據(jù)挑戰(zhàn)。Teradata工程高級(jí)副總裁Dan Spurling表示:“當(dāng)您專注于實(shí)時(shí)分析全球數(shù)據(jù)時(shí),對(duì)于我們的業(yè)務(wù)和最終客戶而言,在價(jià)格和性能之間取得適當(dāng)?shù)钠胶庵陵P(guān)重要。 隨著Gp3的發(fā)布,基于AWS的Teradata客戶將體驗(yàn)到更高的性能和吞吐量,從而使他們能夠推動(dòng)大規(guī)模的分析。 Gp3相對(duì)于Gp2有著顯著的改進(jìn),我們預(yù)計(jì)吞吐量將提高4倍,而每個(gè)實(shí)例的EBS數(shù)量在減少。這使得我們的客戶將獲得更高的性能和更高的實(shí)例可用性?!?/p>
Embark正在開(kāi)發(fā)自動(dòng)駕駛卡車技術(shù),以提高道路安全性和運(yùn)輸效率。Embark基礎(chǔ)設(shè)施主管Paul Ashbourne說(shuō):“我們使用S3 智能分層存儲(chǔ)自動(dòng)駕駛卡車車隊(duì)的日志。這些日志包含我們車輛上的傳感器(例如攝像機(jī)和LiDARS)的PB級(jí)數(shù)據(jù),同時(shí)還存儲(chǔ)控制信號(hào)和系統(tǒng)日志,我們需要快速完整地重現(xiàn)在任何時(shí)間點(diǎn)車輛及其周圍發(fā)生的一切,保留這些數(shù)據(jù)對(duì)我們的業(yè)務(wù)至關(guān)重要。我們的團(tuán)隊(duì)經(jīng)常訪問(wèn)最近收集的數(shù)據(jù)并進(jìn)行分析,但是隨著時(shí)間的流逝,大多數(shù)的數(shù)據(jù)會(huì)變冷,并且有可能幾個(gè)月都不會(huì)訪問(wèn)一些數(shù)據(jù)的子集。但重要的是,我們需要繼續(xù)保存較舊的數(shù)據(jù),以防萬(wàn)一需要再次分析,但這樣做可能導(dǎo)致成本高昂。 S3智能分層對(duì)我們來(lái)說(shuō)是完美的,因?yàn)樗鼤?huì)根據(jù)各個(gè)對(duì)象訪問(wèn)模式自動(dòng)優(yōu)化我們的存儲(chǔ)成本。使用兩個(gè)新的‘歸檔訪問(wèn)’層,當(dāng)很少訪問(wèn)車隊(duì)日志數(shù)據(jù)時(shí),我們可以節(jié)省更多成本。借助S3智能分層,我們的工程團(tuán)隊(duì)無(wú)需構(gòu)建或管理任何自定義存儲(chǔ)監(jiān)控系統(tǒng),一切都能正常運(yùn)行,我們可以將更多的時(shí)間集中在研發(fā)而不是管理存儲(chǔ)上?!?/p>
Zalando是歐洲領(lǐng)先的時(shí)尚和生活方式在線平臺(tái),擁有超過(guò)3500萬(wàn)活躍客戶。Zalando首席數(shù)據(jù)工程師Max Schultze說(shuō):“我們?cè)贏mazon S3上構(gòu)建了一個(gè)15 PB的數(shù)據(jù)湖,這使員工可以及時(shí)分析他們以前無(wú)法訪問(wèn)的歷史銷售和Web跟蹤數(shù)據(jù)。通過(guò)使用S3智能分層,我們能夠在數(shù)據(jù)湖中節(jié)省37%的年度存儲(chǔ)成本,因?yàn)樗梢栽陬l繁訪問(wèn)和不頻繁訪問(wèn)層之間自動(dòng)移動(dòng)對(duì)象。我們期待新的S3 智能分層歸檔存儲(chǔ)層,節(jié)省更多的冷數(shù)據(jù)存儲(chǔ)成本?!?/p>
SmugMug + Flickr是全球最大、最具影響力的以攝影師為中心的平臺(tái)。SmugMug + Flickr的工程/運(yùn)營(yíng)總監(jiān)Andrew Shieh說(shuō):“我們從第一天開(kāi)始就使用Amazon S3,現(xiàn)在是S3 Replication的新客戶。針對(duì)多個(gè)目的地的S3 Replication為我們的全球數(shù)據(jù)處理提供了絕佳選擇。我們現(xiàn)在可以以新的方式利用S3 Replication,使用現(xiàn)有的S3對(duì)象標(biāo)簽制定優(yōu)化的復(fù)制策略。支持多個(gè)目標(biāo)端的S3 Replication可以簡(jiǎn)化復(fù)雜的數(shù)據(jù)復(fù)制管理,我們可以有更多的時(shí)間和精力來(lái)服務(wù)客戶。我們?cè)赟3中存儲(chǔ)并由少量代碼完全管理的PB級(jí)數(shù)據(jù)是我們的業(yè)務(wù)核心。 對(duì)S3的持續(xù)改進(jìn)使SmugMug和Flickr與我們?cè)贏WS的合作伙伴一起成長(zhǎng)?!?/p>