北京2023年5月26日 /美通社/ -- 在亞馬遜,有這樣一支負(fù)責(zé)搜索的團(tuán)隊(duì)正在利用深度學(xué)習(xí)技術(shù)幫助公司內(nèi)各個(gè)團(tuán)隊(duì)從數(shù)據(jù)中獲取智能。它就是M5搜索團(tuán)隊(duì),正在構(gòu)建大模型以支持亞馬遜的機(jī)器學(xué)習(xí)(ML)應(yīng)用程序。借助亞馬遜云科技的服務(wù),M5搜索團(tuán)隊(duì)能夠運(yùn)行數(shù)百億參數(shù)模型的深度學(xué)習(xí)實(shí)驗(yàn)。M5搜索團(tuán)隊(duì)使用多種亞馬遜云科技服務(wù)構(gòu)建、訓(xùn)練和部署多模態(tài)的大型機(jī)器學(xué)習(xí)模型。如今,M5搜索團(tuán)隊(duì)整合了數(shù)據(jù),簡(jiǎn)化了創(chuàng)建大模型的過(guò)程,亞馬遜各個(gè)團(tuán)隊(duì)都可以使用這些模型,為他們的機(jī)器學(xué)習(xí)應(yīng)用程序帶來(lái)深度學(xué)習(xí)的強(qiáng)大能力。
利用深度學(xué)習(xí)賦能亞馬遜各團(tuán)隊(duì)
作為一家擁有超過(guò)160萬(wàn)員工的跨國(guó)科技公司,亞馬遜由許多不同的團(tuán)隊(duì)組成,各團(tuán)隊(duì)的業(yè)務(wù)重點(diǎn)和優(yōu)先事項(xiàng)也都不盡相同。其中,亞馬遜搜索致力于開(kāi)發(fā)產(chǎn)品和服務(wù)以提高亞馬遜網(wǎng)站上的終端用戶體驗(yàn)。亞馬遜搜索應(yīng)用科學(xué)和工程負(fù)責(zé)人Belinda Zeng表示:"亞馬遜搜索是連接不同產(chǎn)品的橋梁,能在不同產(chǎn)品中建立協(xié)同,助力業(yè)務(wù)發(fā)展。為了解釋豐富的數(shù)據(jù)集信息,我們構(gòu)建了預(yù)訓(xùn)練模型,從而利用深度學(xué)習(xí)來(lái)增強(qiáng)亞馬遜的搜索功能。"
M5搜索團(tuán)隊(duì)負(fù)責(zé)亞馬遜的發(fā)現(xiàn)式學(xué)習(xí)策略,并構(gòu)建多模態(tài)大模型,支持多語(yǔ)言、多實(shí)體和多任務(wù)。本質(zhì)上很多工作是實(shí)驗(yàn)性的。團(tuán)隊(duì)需要能夠快速擴(kuò)展實(shí)驗(yàn),并迅速進(jìn)入生產(chǎn)階段,同時(shí)訓(xùn)練數(shù)千個(gè)模型,每個(gè)模型都擁有超過(guò)2億參數(shù),以及在亞馬遜云科技上有效地?cái)U(kuò)展基礎(chǔ)設(shè)施。要實(shí)現(xiàn)這些并不容易,因此M5搜索團(tuán)隊(duì)在基礎(chǔ)設(shè)施解決方案中使用了Amazon EC2,該服務(wù)能夠?yàn)閹缀跞抗ぷ髫?fù)載提供安全且可調(diào)整的計(jì)算容量。亞馬遜搜索首席工程師Rejith Joseph表示:"我們選擇Amazon EC2是因?yàn)樗峁┝撕A孔钚掠布Y源,且資源可輕松獲取。"此外,M5搜索團(tuán)隊(duì)需要存儲(chǔ)許多大型數(shù)據(jù)集,每個(gè)數(shù)據(jù)集都有數(shù)百TB。他們利用Amazon S3處理存儲(chǔ)需求。Amazon S3作為對(duì)象存儲(chǔ)服務(wù),具有行業(yè)領(lǐng)先的可擴(kuò)展性、數(shù)據(jù)可用性、安全性和高性能。
每月擴(kuò)展到數(shù)千個(gè)訓(xùn)練任務(wù)
在2020年第四季度,M5搜索團(tuán)隊(duì)開(kāi)始使用亞馬遜云科技服務(wù)構(gòu)建、訓(xùn)練和部署其機(jī)器學(xué)習(xí)模型。截至2022年,團(tuán)隊(duì)使用各種亞馬遜云科技服務(wù),每月擴(kuò)展至數(shù)千個(gè)訓(xùn)練任務(wù),涉及大量GPU集群上的PB級(jí)數(shù)據(jù)。除了使用Amazon S3進(jìn)行數(shù)據(jù)存儲(chǔ)之外,M5搜索團(tuán)隊(duì)還使用了Amazon FSx,在云中輕松啟動(dòng)、運(yùn)行和擴(kuò)展功能豐富且性能優(yōu)越的文件系統(tǒng)。該團(tuán)隊(duì)還使用了全托管的批處理服務(wù)Amazon Batch,可在任何規(guī)模下高效運(yùn)行批處理計(jì)算作業(yè)。亞馬遜搜索工程經(jīng)理Roshan Makhijani表示:"通過(guò)廣泛使用Amazon FSx、Amazon EC2和Amazon Batch的服務(wù),我們提高了實(shí)驗(yàn)速度。在亞馬遜云科技上進(jìn)行構(gòu)建非常靈活,我們?cè)诓坏?天的時(shí)間里就可以擴(kuò)展到新區(qū)域,只要新區(qū)域有硬件可用。"
從一開(kāi)始,M5搜索團(tuán)隊(duì)就與亞馬遜云科技的產(chǎn)品團(tuán)隊(duì)合作解決公司的棘手問(wèn)題。例如,數(shù)據(jù)密集型訓(xùn)練作業(yè)需要海量計(jì)算資源,使用跨區(qū)域計(jì)算是訪問(wèn)這些資源的必要手段,但以前沒(méi)有實(shí)際解決方案能靈活實(shí)現(xiàn)跨區(qū)域計(jì)算。Belinda Zeng表示:"我們與亞馬遜云科技緊密合作,開(kāi)發(fā)了一些新功能,實(shí)現(xiàn)了跨區(qū)域計(jì)算,成功解決了這一難題。"此外,團(tuán)隊(duì)不斷增長(zhǎng)的數(shù)據(jù)需求日益挑戰(zhàn)Amazon FSx的極限。通過(guò)與亞馬遜云科技合作,M5搜索團(tuán)隊(duì)解決了所有性能問(wèn)題,并為持續(xù)擴(kuò)展打下了基礎(chǔ)。正是由于這些增強(qiáng)功能,M5搜索團(tuán)隊(duì)現(xiàn)在僅需1-2周就可以擴(kuò)展機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施。
團(tuán)隊(duì)還使用C++庫(kù)開(kāi)發(fā)了一種自定義解決方案,以建立跨流媒體的Amazon S3 -- 即在一個(gè)區(qū)域存儲(chǔ)數(shù)據(jù)并在另一個(gè)區(qū)域進(jìn)行流式數(shù)據(jù)傳輸 -- 而不影響訓(xùn)練作業(yè)的速度。Makhijani表示:"使用Amazon S3,我們實(shí)現(xiàn)了我們需要的高吞吐量流媒體解決方案。" 通過(guò)選擇最優(yōu)的GPU、CPU以及亞馬遜云科技自研設(shè)計(jì)的高性能機(jī)器學(xué)習(xí)推理芯片Amazon Inferentia,M5搜索團(tuán)隊(duì)成功在機(jī)器學(xué)習(xí)推理過(guò)程中降低成本并優(yōu)化性能。Joseph表示:"不同模型在不同硬件上能提供的吞吐量有所不同,因此,硬件的選擇可以幫助我們擴(kuò)展模型架構(gòu),并針對(duì)多種類型的硬件進(jìn)行優(yōu)化,同時(shí)控制成本。"此外,團(tuán)隊(duì)在EC2 UltraClusters中部署了Amazon EC2 P4d實(shí)例,這些實(shí)例由云端高性能計(jì)算、網(wǎng)絡(luò)和云存儲(chǔ)構(gòu)成,以獲得最佳的計(jì)算和通信吞吐量。亞馬遜云科技深度學(xué)習(xí)AMI和深度學(xué)習(xí)容器提供了優(yōu)化且安全的機(jī)器學(xué)習(xí)框架和工具,使機(jī)器學(xué)習(xí)從業(yè)者能夠在云上加速深度學(xué)習(xí),從而簡(jiǎn)化了EC2實(shí)例的配置和部署,并實(shí)現(xiàn)了擴(kuò)展。在解決方案中,團(tuán)隊(duì)還使用了Amazon EC2實(shí)例的網(wǎng)絡(luò)接口Elastic Fabric Adapter(EFA),客戶可以借此在亞馬遜云科技上大規(guī)模運(yùn)行需要高度跨節(jié)點(diǎn)通信的應(yīng)用程序。
此外,M5搜索團(tuán)隊(duì)在亞馬遜云科技上使用開(kāi)源深度學(xué)習(xí)框架PyTorch,用以簡(jiǎn)化機(jī)器學(xué)習(xí)模型開(kāi)發(fā)并將模型部署到生產(chǎn)中。具體而言,團(tuán)隊(duì)試驗(yàn)了多種PyTorch庫(kù),如分布式數(shù)據(jù)并行和Amazon S3插件,以及PyTorch Profiler和完全分片數(shù)據(jù)并行等工具進(jìn)行分布式訓(xùn)練。如今,亞馬遜各部門都可以利用深度學(xué)習(xí)的強(qiáng)大功能,以上能力的運(yùn)用幾乎無(wú)所不在。例如,M5搜索團(tuán)隊(duì)開(kāi)發(fā)了一種機(jī)器學(xué)習(xí)模型,能夠準(zhǔn)確更正客戶在搜索過(guò)程中的拼寫(xiě)錯(cuò)誤,從而改善搜索體驗(yàn)。Zeng表示:"機(jī)器學(xué)習(xí)應(yīng)用能夠幫助系統(tǒng)準(zhǔn)確解讀客戶的真實(shí)意圖,并提供多樣化的相關(guān)推薦列表,這些功能都得益于我們預(yù)訓(xùn)練模型中豐富而細(xì)致的信息。"
持續(xù)提升效率
亞馬遜搜索現(xiàn)在已經(jīng)擁有了大規(guī)模構(gòu)建機(jī)器學(xué)習(xí)模型的技術(shù)。下一步,團(tuán)隊(duì)計(jì)劃持續(xù)改進(jìn)其全球集群以提高生產(chǎn)力和使用效率。團(tuán)隊(duì)還將使用新的Amazon EC2實(shí)例匹配不同的模型,既用于訓(xùn)練,也用于推理。M5搜索團(tuán)隊(duì)將繼續(xù)與亞馬遜云科技合作,優(yōu)化其基礎(chǔ)設(shè)施的彈性,提高生產(chǎn)力,并降低訓(xùn)練大型模型的前置成本。Joseph表示:"通過(guò)使用亞馬遜云科技持續(xù)提升效率,我們可以釋放深度學(xué)習(xí)和人工智能的無(wú)限潛能,最終讓我們的客戶從中受益。"