亞馬遜大規(guī)模應(yīng)用機(jī)器學(xué)習(xí)的MLOps實(shí)踐

亞馬遜大規(guī)模應(yīng)用機(jī)器學(xué)習(xí)的MLOps實(shí)踐議程?

亞馬遜應(yīng)用人工智能和機(jī)器學(xué)習(xí)的概況?

機(jī)器學(xué)習(xí)與MLOps?

實(shí)踐中的挑戰(zhàn)及SageMaker帶來的改進(jìn)?

經(jīng)驗(yàn)總結(jié)與分享議程?

亞馬遜應(yīng)用人工智能和機(jī)器學(xué)習(xí)的概況?

機(jī)器學(xué)習(xí)與MLOps?

實(shí)踐中的挑戰(zhàn)及SageMaker帶來的改進(jìn)?

經(jīng)驗(yàn)總結(jié)與分享用戶配送A商品選擇商品打包購買為兌現(xiàn)這一承諾，需要進(jìn)行哪些工作預(yù)測容量采購庫存放置物流每天4億件商品預(yù)測20

+物流中心，

萬

機(jī)器人，300+1.9萬輛拖車，3萬+配送車準(zhǔn)時配送承諾（2019年，為AmazonPrime客戶配送了超過10億個包裹）亞馬遜物流中心

——

人類與機(jī)器人的協(xié)奏曲?

計算機(jī)追蹤數(shù)百萬隨機(jī)存放的貨品?

機(jī)器人隊(duì)列將貨架帶給工作人員?

通過

BinVision

System(物料倉儲視覺系統(tǒng))

指導(dǎo)收貨/取貨活動為什么運(yùn)輸包裝很重要？逐步減少越來越多比同等大小的包裝箱輕75%運(yùn)輸過程中占用的空間減少40%亞馬遜大規(guī)模的應(yīng)用人工智能和機(jī)器學(xué)習(xí)議程?

亞馬遜應(yīng)用人工智能和機(jī)器學(xué)習(xí)的概況?

機(jī)器學(xué)習(xí)與MLOps?

實(shí)踐中的挑戰(zhàn)及SageMaker帶來的改進(jìn)?

經(jīng)驗(yàn)總結(jié)與分享以手工及簡單工具在坊間作業(yè)的生產(chǎn)方式?

每個人在各自的環(huán)境中工作?

使用不同的工具?

不容易合作?

不容易規(guī)模化工業(yè)化帶來專業(yè)化規(guī)?；浖_發(fā)領(lǐng)域里對工程方法的系統(tǒng)應(yīng)用機(jī)器學(xué)習(xí)的生命周期展開來看機(jī)器學(xué)習(xí)的生命周期1.

從客戶的業(yè)務(wù)目標(biāo)/機(jī)會逆向工作。2.

框定適合業(yè)務(wù)需求的機(jī)器學(xué)習(xí)問題。3.

收集適合當(dāng)前機(jī)器學(xué)習(xí)用例的數(shù)據(jù)。4.

在預(yù)處理階段對數(shù)據(jù)進(jìn)行清理、排序和標(biāo)準(zhǔn)化。5.

設(shè)計適合機(jī)器學(xué)習(xí)方法和業(yè)務(wù)用例的特征。-

與業(yè)務(wù)領(lǐng)域?qū)＜?/p>

一起設(shè)計特征，以確保其準(zhǔn)確性和可解釋性。6.

迭代訓(xùn)練模型，并針對業(yè)務(wù)用例進(jìn)行優(yōu)化。7.

在強(qiáng)大的基礎(chǔ)架構(gòu)中部署機(jī)器學(xué)習(xí)應(yīng)用程序。8.

監(jiān)控數(shù)據(jù)、基礎(chǔ)設(shè)施和模型輸出以維護(hù)業(yè)務(wù)價值。數(shù)據(jù)之于機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)項(xiàng)目的大約99%嗎？機(jī)器學(xué)習(xí)項(xiàng)目的大約1%嗎？準(zhǔn)備工作執(zhí)行過程采購和準(zhǔn)備高質(zhì)量的原料采購和準(zhǔn)備高質(zhì)量的數(shù)據(jù)做一頓飯模型訓(xùn)練機(jī)器學(xué)習(xí):

Pilots

vs

OperationalisingPilot階段階段OperationalModelEvaluationExperimentsDataVerificationInfrastructureManagementServingInfrastructureDataCollectionConfigurationServingInfrastructureML代碼Analysis

&Evaluations機(jī)器學(xué)習(xí)代碼ContinuousDataCollectionConfigurationMonitoringDataVerificationProcessManagementETLMonitoringTestingContinuousIntegrationAutomationTestingManagementToolsAutomationCI/CDContinuousDeployment目標(biāo):回答“是否可行，應(yīng)該繼續(xù)采用ML？”的問題目標(biāo):將系統(tǒng)投入生產(chǎn)并實(shí)現(xiàn)預(yù)期的商業(yè)價值得到的結(jié)果我們的目標(biāo)MLOps-

MLOps

是交付機(jī)器學(xué)習(xí)解決方案的一PeopleMLOps系列人員、技術(shù)和流程的組合。-

架構(gòu)良好的

MLOps

賦能企業(yè)有效且一致地將機(jī)器學(xué)習(xí)模型部署到生產(chǎn)中，并提供業(yè)務(wù)價值。TechnologyProcesses實(shí)現(xiàn)

MLOps

的必要條件?

MLpipelines?

數(shù)據(jù)倉庫?

Datapipelines?

CI/CD技術(shù)流程?

模型開發(fā)環(huán)境?

模型推理基礎(chǔ)架構(gòu)?

訓(xùn)練?

部署?

Monitoring?

Logging?

性能?

治理?

所涉及的角色(Data

scientist,MLengineer,SysOps,etc)人員?

能力?

協(xié)作?

文化議程?

亞馬遜應(yīng)用人工智能和機(jī)器學(xué)習(xí)的概況?

機(jī)器學(xué)習(xí)與MLOps?

實(shí)踐中的挑戰(zhàn)及SageMaker帶來的改進(jìn)?

經(jīng)驗(yàn)總結(jié)與分享業(yè)務(wù)用例：搜索相關(guān)性?

搜索和發(fā)現(xiàn)體驗(yàn)?

如果您在亞馬遜上搜索要購買的產(chǎn)品，您使用的是亞馬遜搜索！?

索引全球所有產(chǎn)品?

使用

ML

將相關(guān)且有趣的商品與每位客戶查詢進(jìn)行匹配搜索與商品的召回有序的商品列表無序的召回結(jié)果搜索詞MatchingRanking搜索與商品的召回BehavioralsignalBehavioraldata有序的商品列表無序的召回結(jié)果Keywordmatching搜索詞RankingSemanticmatchingSemantic

similarity如何提高相關(guān)性并減少稀疏查詢搜索結(jié)果？使用語義召回增強(qiáng)商品搜索匹配搜索與商品的語義召回最大化（搜索詞與高購買可能性產(chǎn)品）對之間的相似性最小化（搜索詞與不相關(guān)產(chǎn)品）對之間的相似性搜索與商品的語義召回將搜索詞和商品映射到共享的

embedding

spaceShared

embedding|V|

X

2564

6

7

8

21

3

2NikeRedOutdoor

running

shoesBurgundyjogging

shoesBrand

ColorTitleProductQuery搜索與商品的召回COSTanhBatchnormTanh?

平均池化神經(jīng)網(wǎng)絡(luò)架構(gòu)?

數(shù)十億參數(shù)和

TB

數(shù)據(jù)Batchnorm余弦相似性Avg

pooling?

Similarity=Shared

embedding|V|

X

256以前的基礎(chǔ)架構(gòu)控制平面數(shù)據(jù)平面數(shù)據(jù)處理(Hadoop

or

Spark)模型訓(xùn)練Amazon

S3Amazon

EC2Amazon

Batch定制工作流Amazon

ECR面臨的挑戰(zhàn)?

一些組件自構(gòu)建以來就沒有經(jīng)歷過代際架構(gòu)變化?

碎片化的自定義代碼、管道、評估工具?

重復(fù)開發(fā)：難以調(diào)試，難以擴(kuò)展?

有限的敏捷性：體力勞動和保姆式的維護(hù)?

慢迭代：上市時間長?

運(yùn)營風(fēng)險：有限或沒有血緣跟蹤，沒有模型注冊更新后的基礎(chǔ)架構(gòu)ML

OpsModelanalysisOrchestrated

experimentDataModelpipelinedeploymentSourcecodeDataanalysisDatapreparationModeltrainingModelevaluationModelvalidationSourcerepositoryvalidation數(shù)據(jù)科學(xué)家實(shí)驗(yàn)/開發(fā)/測試生產(chǎn)/再生產(chǎn)TrainedmodelDatapipelinesModelregistryFeaturestoreAutomated

model

building

pipelineModelservingDatavalidationDatapreparationModeltrainingModelevaluationModelvalidationMLmetadata

storePerformancemonitoringInferenceserviceTriggerMLOps:AmazonSearch控制平面數(shù)據(jù)平面3VPCAmazon

ECRAmazon

S3Amazon

CloudWatchStepFunctions215VPC4AmazonEventBridgeAPI用戶SageMaker

PipelinesSageMakerStudioSageMaker

modelDynamoDB效果僅其中一個模型將數(shù)據(jù)科學(xué)家生產(chǎn)力提高至少

10%將實(shí)驗(yàn)速度提高至少

3

倍就節(jié)省

了20%的部署和維護(hù)時間更多價值收集和準(zhǔn)備數(shù)據(jù)在notebooks數(shù)據(jù)標(biāo)注偏差檢查特征存儲中可視化挑選算法訓(xùn)練模型參數(shù)調(diào)優(yōu)生產(chǎn)部署管理和監(jiān)控CI/CD提升機(jī)器學(xué)習(xí)卓越運(yùn)營議程?

亞馬遜應(yīng)用人工智能和機(jī)器學(xué)習(xí)的概況?

機(jī)器學(xué)習(xí)與MLOps?

實(shí)踐中的挑戰(zhàn)及SageMaker帶來的改進(jìn)?

經(jīng)驗(yàn)總結(jié)與分享MLOps目標(biāo)在生產(chǎn)中標(biāo)準(zhǔn)化機(jī)器學(xué)習(xí)并最大限度地縮短交付時間數(shù)據(jù)科學(xué)家專注于創(chuàng)新而不是基礎(chǔ)設(shè)施促進(jìn)知識和代碼的可重用性和共享性AI/ML應(yīng)用增加在運(yùn)營中，清晰定義機(jī)器學(xué)習(xí)應(yīng)用及運(yùn)營模式模塊算法VPCMLpipeline生成器算法目錄Pushupdates代碼數(shù)據(jù)科學(xué)家Pipelineblueprint數(shù)據(jù)科學(xué)家逐步消除應(yīng)用人工智能與機(jī)器學(xué)習(xí)道路上的障礙