2023年華為AI盤古大模型專題研究 實(shí)現(xiàn)行業(yè)數(shù)據(jù)參與AI持續(xù)迭代-大幅提升AI應(yīng)用的二次開發(fā)效率

2023年華為AI盤古大模型專題研究實(shí)現(xiàn)行業(yè)數(shù)據(jù)參與AI持續(xù)迭代_大幅提升AI應(yīng)用的二次開發(fā)效率算力資源華為鯤鵬生態(tài)：華為自主芯片→鯤鵬芯片→鯤鵬服務(wù)器→歐拉操作系統(tǒng)→高斯數(shù)據(jù)庫→行業(yè)應(yīng)用1、鯤鵬芯片：鯤鵬920作為低功耗、高性能的Arm處理器，為鯤鵬服務(wù)器主板及整機(jī)產(chǎn)品提供芯片支撐，是鯤鵬生態(tài)發(fā)展壯大的核心所在，在此基礎(chǔ)上，華為進(jìn)一步開啟自主研發(fā)芯片，為鯤鵬生態(tài)發(fā)展奠定堅(jiān)實(shí)基礎(chǔ)。2、鯤鵬服務(wù)器：華為憑借多年積累的硬件工程能力，打造TaiShan服務(wù)器，使能整個(gè)產(chǎn)業(yè)鏈，進(jìn)一步構(gòu)建完整鯤鵬生態(tài)。3、歐拉操作系統(tǒng)：作為面向B端的電腦服務(wù)器操作系統(tǒng)，華為自主研發(fā)的EulerOS，以Linux穩(wěn)定系統(tǒng)內(nèi)核為基礎(chǔ)，南向支持多樣性設(shè)備，北向覆蓋全場(chǎng)景應(yīng)用，橫向?qū)峪櫭?，通過能力共享實(shí)現(xiàn)生態(tài)互通。4、高斯數(shù)據(jù)庫：華為GaussDB是主打政企核心業(yè)務(wù)負(fù)載的金融級(jí)分布式數(shù)據(jù)庫，目前已實(shí)現(xiàn)助力部分保險(xiǎn)及車企數(shù)字化轉(zhuǎn)型。5、行業(yè)應(yīng)用：華為以行業(yè)聚合應(yīng)用，通過平臺(tái)和生態(tài)雙輪驅(qū)動(dòng)，形成行業(yè)應(yīng)用矩陣，為眾多行業(yè)客戶提供解決方案。并陸續(xù)成立五大軍團(tuán)，不斷開發(fā)全新應(yīng)用場(chǎng)景。華為昇騰AI產(chǎn)業(yè)：昇騰AI處理器→CANN異構(gòu)計(jì)算架構(gòu)→MindSporeAI框架→應(yīng)用使能→行業(yè)應(yīng)用1、Ascend：昇騰AI處理器作為基礎(chǔ)，通過模塊、標(biāo)卡、小站、服務(wù)器等豐富的產(chǎn)品形態(tài)，打造面向“端、邊、云“的全棧解決方案，為整個(gè)昇騰AI產(chǎn)業(yè)的底層核心支撐。2、CANN：作為華為昇騰AI基礎(chǔ)軟硬件平臺(tái)的核心，CANN向上支持多種AI框架，向下服務(wù)AI處理器與編程，以極致性能、極簡(jiǎn)開發(fā)、開放生態(tài)為目標(biāo)，助力昇騰構(gòu)建全場(chǎng)景人工智能平臺(tái)。3、MindSpore：是國內(nèi)首個(gè)支持千億參數(shù)大模型訓(xùn)練AI計(jì)算框架，覆蓋包含生物醫(yī)學(xué)在內(nèi)的多個(gè)領(lǐng)域。4、應(yīng)用使能：以昇騰AI處理器→CANN異構(gòu)計(jì)算架構(gòu)→MindSporeAI框架的傳導(dǎo)機(jī)制，為深度學(xué)習(xí)、智能邊緣以及行業(yè)應(yīng)用解決方案等強(qiáng)勢(shì)賦能。AI開發(fā)平臺(tái)華為云AI開發(fā)生產(chǎn)線ModelArts在AI云服務(wù)方面的競(jìng)爭(zhēng)優(yōu)勢(shì)越發(fā)明顯。歷經(jīng)多年的技術(shù)創(chuàng)新，ModelArts已成功在十多個(gè)領(lǐng)域進(jìn)行商業(yè)化落地，持續(xù)領(lǐng)跑機(jī)器學(xué)習(xí)公有云市場(chǎng)，為AI開發(fā)帶來變革。1、簡(jiǎn)化開發(fā)，讓AI落地更簡(jiǎn)單華為云AI開發(fā)生產(chǎn)線ModelArts支持全流程MLOps開發(fā)，實(shí)現(xiàn)行業(yè)數(shù)據(jù)參與AI持續(xù)迭代，大幅提升AI應(yīng)用的二次開發(fā)效率。發(fā)起AI生態(tài)伙伴計(jì)劃D-Plan，提供“人”“貨”“場(chǎng)”服務(wù)，和行業(yè)ISV一起，加速AI解決方案在行業(yè)的落地。基于D-Plan的AI項(xiàng)目實(shí)踐，華為云已在AIGallery上沉淀了9大行業(yè)場(chǎng)景Usecase，覆蓋生產(chǎn)、銷售、服務(wù)和運(yùn)營等企業(yè)運(yùn)作全場(chǎng)景。AIGallery還匯聚了2000多個(gè)覆蓋零售、醫(yī)療、游戲等數(shù)十個(gè)商業(yè)領(lǐng)域的優(yōu)質(zhì)模型，助力千行百業(yè)智能升級(jí)。2、深耕技術(shù)，讓AI應(yīng)用更高效ModelArts沉淀了知識(shí)計(jì)算、盤古大模型和天籌AI求解器三項(xiàng)AI根技術(shù)，持續(xù)構(gòu)建大模型訓(xùn)練及推理加速能力、分布式訓(xùn)練能力等，從算力資源調(diào)度、AI業(yè)務(wù)編排、AI資產(chǎn)管理以及AI應(yīng)用部署，提供數(shù)據(jù)處理、算法開發(fā)、模型訓(xùn)練、模型管理、模型部署等AI應(yīng)用開發(fā)全流程技術(shù)能力。3、應(yīng)用實(shí)例互聯(lián)網(wǎng)領(lǐng)域：華為云ModelArts基于算法優(yōu)化、語音質(zhì)檢等途徑，有效提升了T3出行司乘安全檢測(cè)模型的準(zhǔn)確率和召回率，使危險(xiǎn)駕駛事件率下降38.6%，同時(shí)大幅降低模型開發(fā)和交付周期。自動(dòng)駕駛領(lǐng)域：針對(duì)AI算法訓(xùn)練，華為云ModelArts支撐端到端訓(xùn)練效率提升；分布式多級(jí)緩存技術(shù)可以將訓(xùn)練時(shí)長縮短50%；針對(duì)大規(guī)模集群訓(xùn)練，拓?fù)涓兄{(diào)度和動(dòng)態(tài)軟路由技術(shù)可以提升訓(xùn)練性能30%。盤古大模型過去開發(fā)模式“三高問題”：開發(fā)人員專業(yè)性要求高、綜合成本高、不可控程度高。需要擁有作為底座的“重型機(jī)械”——預(yù)訓(xùn)練大模型：提前將知識(shí)、數(shù)據(jù)、訓(xùn)練成果沉淀到一個(gè)模型中，然后將這個(gè)基礎(chǔ)釋放到產(chǎn)業(yè)。2021年4月，盤古大模型正式對(duì)外發(fā)布。盤古NLP大模型：業(yè)界首個(gè)千億參數(shù)的中文預(yù)訓(xùn)練大模型，在CLUE實(shí)現(xiàn)了業(yè)界領(lǐng)先。盤古CV大模型：業(yè)界首次實(shí)現(xiàn)模型按需抽取，在ImageNet上小樣本學(xué)習(xí)能力業(yè)界第一。優(yōu)勢(shì)和能力點(diǎn)：兼顧架構(gòu)+小樣本學(xué)習(xí)能力、微調(diào)能力、集成行業(yè)知識(shí)的能力更強(qiáng)+以商業(yè)價(jià)值驅(qū)動(dòng)研發(fā)創(chuàng)新的“實(shí)干模式”大模型+生態(tài)化、協(xié)同創(chuàng)新。目前我們處在AI工業(yè)化開發(fā)模式起步后的