北京2023年10月18日 /美通社/ -- 近日,亞馬遜云科技宣布Amazon DataZone正式可用。Amazon DataZone讓客戶能夠跨組織邊界發(fā)現(xiàn)、訪問(wèn)、共享和治理大規(guī)模數(shù)據(jù),并減少企業(yè)內(nèi)部成員訪問(wèn)數(shù)據(jù)和使用分析工具時(shí)繁重的工作量。通過(guò)Amazon DataZone,數(shù)據(jù)工程師、科學(xué)家和分析師等數(shù)據(jù)使用者可以通過(guò)統(tǒng)一的數(shù)據(jù)分析門戶,在亞馬遜云科技賬戶之間共享和訪問(wèn)數(shù)據(jù),實(shí)現(xiàn)跨部門、跨組織地使用數(shù)據(jù)及開展數(shù)據(jù)協(xié)作。此外,數(shù)據(jù)所有者和數(shù)據(jù)管理者可以通過(guò)在用戶界面中使用預(yù)定義的審批工作流來(lái)平衡數(shù)據(jù)訪問(wèn)治理,以及通過(guò)向數(shù)據(jù)添加業(yè)務(wù)上下文而簡(jiǎn)化數(shù)據(jù)發(fā)現(xiàn)。
數(shù)據(jù)管理和治理的常見問(wèn)題:
- 數(shù)據(jù)發(fā)現(xiàn),特別是跨賬戶及區(qū)域分布的數(shù)據(jù):企業(yè)所擁有的PB級(jí)數(shù)據(jù)往往分散在數(shù)十甚至數(shù)千個(gè)數(shù)據(jù)源中,為發(fā)現(xiàn)可用于分析的數(shù)據(jù)帶來(lái)極大挑戰(zhàn)。
- 數(shù)據(jù)訪問(wèn):不同企業(yè)采用不同的數(shù)據(jù)管理方式,且通常需要手動(dòng)批準(zhǔn),這導(dǎo)致數(shù)據(jù)訪問(wèn)控制變得繁瑣耗時(shí),而且很難及時(shí)同步更新,這讓分析師常常無(wú)法及時(shí)獲取所需數(shù)據(jù)。
- 工具使用:每個(gè)工具都以不同的方式管理數(shù)據(jù)訪問(wèn),每個(gè)用戶在治理數(shù)據(jù)時(shí)使用的工具可能各不相同。
- 協(xié)作:分析師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師通常在端到端的分析過(guò)程中處于不同的階段,但沒有一種簡(jiǎn)單的方式可以讓他們選擇不同的工具來(lái)協(xié)作處理同一個(gè)經(jīng)過(guò)治理的數(shù)據(jù)。
- 數(shù)據(jù)治理:數(shù)據(jù)治理的構(gòu)建通常隱藏在各個(gè)工具中,并由不同的團(tuán)隊(duì)以不同方式進(jìn)行管理,這導(dǎo)致企業(yè)無(wú)法跟蹤誰(shuí)正在訪問(wèn)什么數(shù)據(jù)以及為什么訪問(wèn)。
Amazon DataZone的三個(gè)核心優(yōu)勢(shì)
Amazon DataZone允許客戶跨組織邊界大規(guī)模發(fā)現(xiàn)、共享和治理數(shù)據(jù)。
- 管理跨組織邊界的數(shù)據(jù)訪問(wèn):幫助確保正確的用戶以符合企業(yè)安全規(guī)定的方式訪問(wèn)正確的數(shù)據(jù),而無(wú)需依賴個(gè)人憑證;同時(shí),通過(guò)經(jīng)過(guò)治理的工作流提供數(shù)據(jù)資產(chǎn)的透明度,并批準(zhǔn)數(shù)據(jù)訂閱;此外,審計(jì)功能可監(jiān)控跨項(xiàng)目的數(shù)據(jù)資產(chǎn)使用情況。
- 通過(guò)共享數(shù)據(jù)和工具連接數(shù)據(jù)用戶,驅(qū)動(dòng)業(yè)務(wù)洞察:通過(guò)團(tuán)隊(duì)之間無(wú)縫協(xié)作和提供數(shù)據(jù)和分析工具的自助訪問(wèn),提升業(yè)務(wù)團(tuán)隊(duì)的效率;使用業(yè)務(wù)術(shù)語(yǔ)搜索、共享和訪問(wèn)數(shù)據(jù)目錄,使數(shù)據(jù)對(duì)所有授權(quán)用戶可用,并通過(guò)業(yè)務(wù)詞匯表了解他們想要使用的數(shù)據(jù)。
- 利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)數(shù)據(jù)發(fā)現(xiàn)和編目自動(dòng)化:縮短了在業(yè)務(wù)數(shù)據(jù)目錄手動(dòng)輸入數(shù)據(jù)屬性所需的時(shí)間,同時(shí)減少了錯(cuò)誤的發(fā)生;數(shù)據(jù)目錄中數(shù)據(jù)的增多會(huì)提升搜索體驗(yàn),將搜索和使用數(shù)據(jù)的時(shí)間從幾周縮短到幾天。
為了實(shí)現(xiàn)上述優(yōu)勢(shì),Amazon DataZone內(nèi)置了多項(xiàng)功能,其中包括:
- 業(yè)務(wù)驅(qū)動(dòng)領(lǐng)域:一個(gè)DataZone數(shù)據(jù)域代表了企業(yè)內(nèi)的一條業(yè)務(wù)線(LOB)或一個(gè)業(yè)務(wù)領(lǐng)域的明確邊界,它可以管理自己的數(shù)據(jù),包括數(shù)據(jù)資產(chǎn)、數(shù)據(jù)定義或業(yè)務(wù)術(shù)語(yǔ),以及數(shù)據(jù)治理標(biāo)準(zhǔn)。數(shù)據(jù)域是用戶開啟Amazon DataZone旅程的起點(diǎn)。當(dāng)用戶首次開始使用DataZone時(shí),將創(chuàng)建一個(gè)包含所有核心組件的數(shù)據(jù)域,如業(yè)務(wù)數(shù)據(jù)目錄、項(xiàng)目和環(huán)境。
- 企業(yè)內(nèi)部的業(yè)務(wù)數(shù)據(jù)目錄:企業(yè)可以為數(shù)據(jù)增加業(yè)務(wù)上下文,從而增加數(shù)據(jù)的可見性,以便數(shù)據(jù)使用者可以更加快速高效地查找和理解數(shù)據(jù)。目錄的核心功能是對(duì)不同來(lái)源的數(shù)據(jù)編目,并通過(guò)附加的業(yè)務(wù)背景來(lái)增強(qiáng)元數(shù)據(jù),為尋找數(shù)據(jù)的使用者提供更好的決策支持。
- 利用數(shù)據(jù)項(xiàng)目進(jìn)行聯(lián)邦治理:Amazon DataZone 數(shù)據(jù)項(xiàng)目基于業(yè)務(wù)用例將用戶、數(shù)據(jù)資產(chǎn)和分析工具進(jìn)行分組,簡(jiǎn)化了訪問(wèn)亞馬遜云科技分析工具的過(guò)程。數(shù)據(jù)項(xiàng)目提供了可供項(xiàng)目成員一起協(xié)作、交換數(shù)據(jù)和共享工件(artifact)的空間。只有被添加到項(xiàng)目中的用戶才能參與協(xié)作,因此,整個(gè)項(xiàng)目的安全性可以得到最大限度的保證。通過(guò)這些項(xiàng)目,Amazon DataZone將數(shù)據(jù)所有權(quán)分散到不同團(tuán)隊(duì)中的數(shù)據(jù)所有者身上,所有者通過(guò)訪問(wèn)管理權(quán)控制用戶的數(shù)據(jù)訪問(wèn)請(qǐng)求。
- Amazon DataZone現(xiàn)已提供外部API,以編程的方式與系統(tǒng)交互。用戶可以將Amazon DataZone添加到現(xiàn)有架構(gòu)中。例如,用戶可以在Amazon DataZone中使用數(shù)據(jù)管道編目數(shù)據(jù),使客戶能夠無(wú)縫搜索、查找、訂閱和訪問(wèn)數(shù)據(jù)。在此版本中,Amazon DataZone引入了一個(gè)新的目錄數(shù)據(jù)模型。編目API支持基于類型系統(tǒng)的模型,允許用戶定義和管理目錄中實(shí)體的類型。通過(guò)使用該類型的系統(tǒng)模型,用戶將擁有一個(gè)靈活且可擴(kuò)展的目錄,在表示不同類型對(duì)象的同時(shí)可以將其(資產(chǎn)或列)關(guān)聯(lián)到元數(shù)據(jù)。類似地,用戶也可以用編程方式使用Amazon DataZone的API。
Amazon DataZone常見客戶應(yīng)用場(chǎng)景
數(shù)據(jù)發(fā)現(xiàn)
Bristol Myers Squibb研究IT解決方案架構(gòu)總監(jiān)David Y. Liu表示:"Bristol Myers Squibb正在積極推進(jìn)一項(xiàng)計(jì)劃,旨在將藥物發(fā)現(xiàn)和研發(fā)時(shí)間縮短超過(guò)30%。這項(xiàng)計(jì)劃的關(guān)鍵環(huán)節(jié)是解決數(shù)據(jù)共享所面臨的挑戰(zhàn)并優(yōu)化數(shù)據(jù)可用性。通過(guò)與亞馬遜云科技合作,我們發(fā)現(xiàn)Amazon DataZone能夠幫助我們創(chuàng)建、管理、歸類整理我們的數(shù)據(jù)產(chǎn)品,使數(shù)據(jù)更容易被找到、訪問(wèn)、進(jìn)行協(xié)作處理和復(fù)用。目前我們正在評(píng)估Amazon DataZone在企業(yè)內(nèi)更廣泛的可用性,以確定是否與我們的運(yùn)營(yíng)目標(biāo)相符。"
共享治理數(shù)據(jù)以支持生成式AI項(xiàng)目
Guardant Health數(shù)據(jù)、CRM和分析高級(jí)總監(jiān)Rajesh Kucharlapati表示:"通過(guò)在多個(gè)業(yè)務(wù)領(lǐng)域之間協(xié)調(diào)數(shù)據(jù),我們可以培養(yǎng)數(shù)據(jù)共享的文化。為此,我們一直在使用Amazon DataZone,將開發(fā)人員從構(gòu)建和維護(hù)平臺(tái)的任務(wù)中解放出來(lái),使他們能夠?qū)W⒂诙ㄖ平鉀Q方案。亞馬遜云托管服務(wù)對(duì)我們具有重要意義,因?yàn)槔脕嗰R遜云科技生態(tài)系統(tǒng)功能,我們能夠更快地從數(shù)據(jù)分析中獲得業(yè)務(wù)洞察,標(biāo)準(zhǔn)化數(shù)據(jù)定義,以及充分利用生成式AI的潛力。我們期待繼續(xù)與亞馬遜云科技合作,為Guardant Health注入活力,并為我們服務(wù)的患者提供更優(yōu)質(zhì)的服務(wù)。與亞馬遜云服務(wù)的合作已遠(yuǎn)遠(yuǎn)超出了數(shù)據(jù)范疇,這是一段充滿活力的旅程。"
聯(lián)邦式數(shù)據(jù)治理
Itaú Unibanco數(shù)據(jù)治理和隱私主管Priscila Cardoso Ferreira表示:"實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)是我們的戰(zhàn)略目標(biāo)之一。我們始終遵循更優(yōu)的數(shù)據(jù)治理、數(shù)據(jù)隱私保護(hù)和安全性實(shí)踐。在Itaú,數(shù)據(jù)被視為最主要的資產(chǎn)之一,良好的數(shù)據(jù)定義和管理是我們解決方案的核心組成部分,這在使用亞馬遜云科技分析服務(wù)的每一個(gè)環(huán)節(jié)中都得到了體現(xiàn)。與亞馬遜云科技團(tuán)隊(duì)一起,我們使用Amazon DataZone預(yù)覽版提出了與Itaú技術(shù)和業(yè)務(wù)需求相匹配的功能——例如按數(shù)據(jù)域劃分的數(shù)據(jù)可以簡(jiǎn)化數(shù)據(jù)治理的流程,并幫助業(yè)務(wù)部門間分配責(zé)任。隨著Amazon DataZone的正式可用,我們希望能夠迅速而輕松地為團(tuán)隊(duì)建立跨數(shù)據(jù)域工作規(guī)則,幫助數(shù)據(jù)分析師、工程師和科學(xué)家在多個(gè)業(yè)務(wù)用例中進(jìn)行數(shù)據(jù)假設(shè)實(shí)驗(yàn),實(shí)現(xiàn)簡(jiǎn)化治理。"