北京2020年11月19日 /美通社/ -- 日前，亞馬遜云服務(AWS)宣布AWS Glue DataBrew正式可用。AWS Glue DataBrew是一款全新的可視化數(shù)據(jù)準備工具，客戶無需編寫代碼就可以清洗和處理數(shù)據(jù)。自2016年以來，數(shù)據(jù)工程師一直使用AWS Glue來創(chuàng)建、運行和監(jiān)控數(shù)據(jù)提取、轉(zhuǎn)換和加載(ETL)作業(yè)。AWS Glue同時提供基于代碼接口和可視化界面，大大簡化了客戶在云中提取、轉(zhuǎn)換和加載數(shù)據(jù)的過程。數(shù)據(jù)分析師和數(shù)據(jù)科學家們一直想要一種更簡單的方法來清洗和處理這些數(shù)據(jù)，而這正是DataBrew所能提供的。通過AWS Glue DataBrew，客戶可以直接從AWS數(shù)據(jù)湖、數(shù)據(jù)倉庫和數(shù)據(jù)庫中開展數(shù)據(jù)探索和實驗，而無需編寫代碼。AWS Glue DataBrew為客戶提供了超過250個預先構(gòu)建的轉(zhuǎn)換，以自動化數(shù)據(jù)準備任務（如過濾異常、標準化格式和糾正無效值）。而沒有這些預先構(gòu)建的轉(zhuǎn)換，往往需要幾天或幾周的時間編寫手工編碼。一旦數(shù)據(jù)準備完畢，客戶可以立即開始使用AWS和第三方的分析和機器學習服務來查詢數(shù)據(jù)和訓練機器學習模型。使用AWS Glue DataBrew不需要預付協(xié)議或費用，客戶只需要為數(shù)據(jù)集的創(chuàng)建和運行轉(zhuǎn)換付費。如欲開始使用AWS Glue DataBrew，請訪問：https://aws.amazon.com/glue/features/DataBrew
為分析和機器學習準備數(shù)據(jù)涉及多個必要且耗時的任務，包括數(shù)據(jù)提取、清洗、標準化、加載和大規(guī)模ETL工作流的編排。為了大規(guī)模地提取、轉(zhuǎn)換和加載數(shù)據(jù)，精通SQL或Python、Scala等編程語言的數(shù)據(jù)工程師和ETL開發(fā)者可以使用AWS Glue。ETL開發(fā)者通常更喜歡現(xiàn)代ETL工具中常見的可視化接口，而不是編寫SQL、Python或Scala，所以AWS最近推出了AWS Glue Studio，這是一個新的可視化界面，可以幫助編寫、運行和監(jiān)控ETL作業(yè)，無需編寫任何代碼。一旦數(shù)據(jù)被可靠地搬移到AWS上，就需要業(yè)務線中理解數(shù)據(jù)上下文的數(shù)據(jù)分析人員和數(shù)據(jù)科學家對這些數(shù)據(jù)進行清洗和處理。要清洗和處理數(shù)據(jù)，數(shù)據(jù)分析師和數(shù)據(jù)科學家們要不就得在Excel或Jupyter Notebooks中處理小批量的數(shù)據(jù)，從而無法處理大型數(shù)據(jù)集。又或者需要依靠稀缺的數(shù)據(jù)工程師和ETL開發(fā)人員編寫定制代碼，執(zhí)行清洗和處理。為了發(fā)現(xiàn)數(shù)據(jù)中的異常，技術(shù)精湛的數(shù)據(jù)工程師和ETL開發(fā)者需要花費數(shù)天或數(shù)周時間編寫定制工作流，將數(shù)據(jù)從不同的源中提取出來，然后透視、轉(zhuǎn)置，多次切分數(shù)據(jù)，才能由數(shù)據(jù)分析師和數(shù)據(jù)科學家迭代，識別并解決數(shù)據(jù)的質(zhì)量問題。在開發(fā)了這些轉(zhuǎn)換之后，數(shù)據(jù)工程師和ETL開發(fā)者仍然需要編排自定義工作流并持續(xù)運行來自動地清洗和規(guī)范化新傳入的數(shù)據(jù)。每次數(shù)據(jù)分析師或數(shù)據(jù)科學家想要更改或添加轉(zhuǎn)換時，數(shù)據(jù)工程師和ETL開發(fā)者就需要再次提取、加載、清洗、規(guī)范化和協(xié)調(diào)數(shù)據(jù)準備任務，這個迭代過程可能需要數(shù)周到數(shù)個月的時間才能完成。結(jié)果是，客戶多達80%的時間都花費在清洗和標準化數(shù)據(jù)上，而非真正地分析數(shù)據(jù)并從中提取價值。
AWS Glue DataBrew是一個AWS Glue的可視化數(shù)據(jù)準備工具，允許數(shù)據(jù)分析師和數(shù)據(jù)科學家無需編寫任何代碼，即可通過一個交互式、單擊的可視化界面來清洗和轉(zhuǎn)換數(shù)據(jù)。使用AWS Glue DataBrew，終端用戶可以直接從他們的Amazon Simple Storage Service (Amazon S3)數(shù)據(jù)湖、Amazon Redshift數(shù)據(jù)倉庫、Amazon Aurora和Amazon Relational Database Service (Amazon RDS)數(shù)據(jù)庫中輕松地訪問、可視化地探索組織內(nèi)任意數(shù)量的數(shù)據(jù)。客戶無需編寫代碼，即可選擇超過250個內(nèi)置函數(shù)來組合、透視和轉(zhuǎn)置數(shù)據(jù)。AWS Glue DataBrew推薦諸如過濾異常、將數(shù)據(jù)標準化為標準日期和時間值、生成用于分析的聚合，以及糾正無效、錯誤分類或重復的數(shù)據(jù)等數(shù)據(jù)清洗和標準化步驟。對于復雜的任務，如將單詞轉(zhuǎn)換為通用的基本單詞或根單詞（如將“yearly”和“yearlong”轉(zhuǎn)換為“year”），AWS Glue DataBrew還提供了使用高級機器學習技術(shù)，如自然語言處理(NLP)的轉(zhuǎn)換。然后，用戶可以將這些清洗和處理步驟保存到工作流（稱為配方）中，并將它們自動應用到未來傳入的數(shù)據(jù)中。如果需要對工作流進行更改，數(shù)據(jù)分析師和數(shù)據(jù)科學家只需更新配方中的清洗和處理步驟，并在新數(shù)據(jù)到達時自動應用它們。AWS Glue DataBrew將準備好的數(shù)據(jù)發(fā)布到Amazon S3，讓客戶可以很便捷地立即用于分析和機器學習。AWS Glue DataBrew是無服務器和全托管的服務，客戶不需要配置、供應或管理任何計算資源。
“AWS客戶正以前所未有的速度使用數(shù)據(jù)，進行分析和機器學習。然而，這些客戶經(jīng)常告訴我們，他們的團隊在無差異的、重復的、單調(diào)的數(shù)據(jù)準備工作上花費了太多時間?！盇WS數(shù)據(jù)庫和分析副總裁Raju Gulabani表示，“客戶喜歡像AWS Glue這樣基于代碼的數(shù)據(jù)準備服務的可擴展性和靈活性，而允許業(yè)務用戶、數(shù)據(jù)分析師和數(shù)據(jù)科學家無需編寫代碼，就可以獨立地可視化地探索和試驗數(shù)據(jù)，也會讓客戶從中受益。AWS Glue DataBrew具有一個易于使用的可視化界面，可幫助所有技術(shù)水平的數(shù)據(jù)分析師和數(shù)據(jù)科學家理解、合并、清洗和轉(zhuǎn)換數(shù)據(jù)?！?/p>
AWS Glue DataBrew現(xiàn)已在美國東部（弗吉尼亞北部）、美國東部（俄亥俄）、美國西部（俄勒岡）、歐洲（愛爾蘭）、歐洲（法蘭克福）、亞太地區(qū)（悉尼）區(qū)域和亞太地區(qū)（東京）區(qū)域正式推出，其它區(qū)域也將很快推出。
