華為+AI大模型開源生態(tài)及大模型平臺實踐

智源研究院Al大模型開源生態(tài)及演講人：華為昇思MindSpore開源生態(tài)總監(jiān)胡曉曼昇思3AAIMindSpore智源研究院02●模型底座：華為AI大模型全景架構(gòu)及應(yīng)用案例03●平臺架構(gòu)：大模型平臺技術(shù)架構(gòu)及技術(shù)分析3AAI昇思智源研究院MindSporeAl大模型開源生態(tài)發(fā)展洞察分析合成數(shù)據(jù)創(chuàng)造結(jié)果新產(chǎn)業(yè)合成數(shù)據(jù)創(chuàng)造結(jié)果新產(chǎn)業(yè)分析數(shù)據(jù)給出建議產(chǎn)業(yè)輔助“三疊浪” 文章重點考察了小樣本提示任務(wù)中各種模型的涌現(xiàn)能力 蠟大模型根本方法；(1)模型結(jié)構(gòu)需要基于先驗設(shè)計；(2)結(jié)構(gòu)與參數(shù)需要復(fù)雜設(shè)計過程：(3)參數(shù)提升，工程訓(xùn)練難空施之提升；高高能與模型解械；(1)增加數(shù)據(jù)是昂貴的行為；(2)數(shù)據(jù)來源無法保證多樣性和均一性；中中充分利用模型容量：低低增加模型參數(shù)是當前曾大模型容量的最可行方法增加模型參數(shù)是當前曾大模型容量的最可行方法為什么近年模型容量提升速度卻在放緩?GPT-12018年6月GPT-12018年6月2019年2月人工標注數(shù)據(jù)&強化學(xué)習(xí)人工標注數(shù)據(jù)&強化學(xué)習(xí)ChatGPT2022年12月參數(shù)：1750億量人工標注數(shù)據(jù)ChatGPT生成文本5萬條越高質(zhì)量人工標注數(shù)據(jù)RM對生成文本內(nèi)容評價好壞元萬美元高素質(zhì)領(lǐng)域?qū)＜覅⑴c數(shù)據(jù)標注和增強工作5年探索研究GPT-3:從45TB原始文本語料篩選出570+GB高質(zhì)量數(shù)據(jù)(約3000億單詞)GPT-3.5:訓(xùn)練數(shù)據(jù)包含5400萬個代碼庫，僅Python語言就有159GB治理與倫理高速旋轉(zhuǎn)的數(shù)據(jù)飛輪、大算力驅(qū)動模型更快的進化般<100天”;人 RLHFReinforcementLearn即，人類反饋的強化學(xué)習(xí)：增強了人對模型輸出結(jié)果的調(diào)節(jié)，并且對結(jié)果進行了更具理解性的排序?！つ琴Y產(chǎn)負債率多少合適?·不能過高也不能過低?業(yè)界先進企業(yè)一般<100天基于人類反饋的強化學(xué)習(xí) 學(xué)生刷題：OpenAl招募了40位專家，標注了5萬條高質(zhì)量數(shù)據(jù)，有監(jiān)督微調(diào)訓(xùn)練模型，通過樣例學(xué)習(xí)教會機器理解人類prompt包含的意圖，并a老師閱卷：通過OpenAl開放的若干API收集數(shù)據(jù)(模型對同一問題的不同回答),收集人類的評分并排序，以此數(shù)據(jù)訓(xùn)練獎勤模型，告訴機器人類的喜60分：95第三步：通過強化學(xué)習(xí)訓(xùn)練出策略模型第三步：通過強化學(xué)習(xí)訓(xùn)練出策略模型使用獎勵模型考察策略模型的輸出，類似模擬考提升策略模型的效果。 全國邦第二位.672億人民節(jié)；算力費用高達2000萬美元(OpenAI萬卡V100/A100持續(xù)迭代3年);·全棧技術(shù)難：ChatGPT大模型+大數(shù)據(jù)持續(xù)學(xué)習(xí)、基于人類反饋強化學(xué)習(xí)和微調(diào)、多機多卡/單卡推理等全棧全流程技術(shù)要求；·行業(yè)結(jié)合難：優(yōu)質(zhì)模型+專業(yè)知識投入+廠商AI技術(shù)支撐，是大模型可以產(chǎn)業(yè)落地的關(guān)鍵Megatron-530B模型名算力硬件硬件算法開發(fā)1)使用注釋數(shù)據(jù)開發(fā)和訓(xùn)練AL2)在垂直細分領(lǐng)域進行模型的二內(nèi)容生產(chǎn)廠商內(nèi)容創(chuàng)作應(yīng)用服務(wù)商內(nèi)容分發(fā)平臺1)協(xié)助用戶使用模型和算法生成內(nèi)2)將生成的丙容分發(fā)到各種渠道，如社交媒體、娛樂平臺、新聞媒體等。生成)Bard(聊天機器人)DeepMind|Gopher(語言理解、1生成)統(tǒng))生成)(圖像生成)生成)App制作上游中游下游上游中游下游以ChatGPT為代表的AIGC行業(yè)，上游主中游主要包括文字、圖像、音頻、視頻等數(shù)字內(nèi)容的處理加工方，下游主要是各類數(shù)字內(nèi)容分發(fā)平臺、消費方及相關(guān)服務(wù)機構(gòu)等。數(shù)據(jù)供給方數(shù)據(jù)分析標注生物資產(chǎn)、內(nèi)容素材、音視頻等多模態(tài)內(nèi)容消費品智源研究院華為Al大模型全景架構(gòu)及應(yīng)用案例預(yù)訓(xùn)預(yù)訓(xùn)練檢測AI框架大模型開發(fā)套件大模型微調(diào)組件大模型部署組件大模型開發(fā)套件大模型微調(diào)組件BETT5Tools分調(diào)切詞分調(diào)切詞E2E極簡、開箱即用·微調(diào)組件：5%參數(shù)微調(diào)即實現(xiàn)全參精度調(diào)優(yōu)鏈，多維混合壓縮20X壓縮比，精度損失<0.5%·千卡規(guī)模集群線性度55%→80%巡檢推薦搜索基因研究藥物研發(fā)城市治理防災(zāi)減災(zāi)變化監(jiān)測地物分類智能客服流體仿真盤古CV城為云已發(fā)布 ·facebook.飛槳：26%具思：8%其他：7%+算思：11%飛槳：11%其他：14%+醫(yī)療：32(6%)交通：7(2%)2023年Q1排名界思：7%(243repos)AI框架持續(xù)迭代和升級，大模型、AI4S、動靜統(tǒng)一是主流技術(shù)趨勢047性能優(yōu)先靜態(tài)圖為主靈活性優(yōu)先動態(tài)圖為主一、超大模型，高效能訓(xùn)練和推理至今動靜態(tài)圖能力兼顧大規(guī)模分布式MindSpore90%遷移成本API完備度大幅提升，文檔及工具進一步完善電磁仿真套件400+600+會文開發(fā)者遍及全球開發(fā)者遍及全球綜合排名TOP1綜合排名TOP1生態(tài)足跡走進國內(nèi)大中城市人工計算中心·大模型合作·論文基金項目合作·眾智項目合作·行業(yè)方案合作數(shù)據(jù)越止至2023.04月編澤時間·靜態(tài)圖語法完備提升(60%->90%)編澤時間升網(wǎng)絡(luò)表達類高模塊化，開箱即用預(yù)制預(yù)訓(xùn)練模型預(yù)制下游任務(wù)預(yù)制預(yù)訓(xùn)練模型預(yù)制下游任務(wù)1.支持TB級推薦模型低參微調(diào)，降低內(nèi)存多種低參微調(diào)算法基于盤古alpha實驗無lowrank-adapter內(nèi)存18665M高性能部署多種優(yōu)化特性自動并行自動并行11科學(xué)智能創(chuàng)新場景應(yīng)用AIAI4S框架套件200+,Pandas接口100+;支持微分方程表達yolov3/v5/v7/.wavegrad/deepspeechtdnndbnet/crnn/svtr/.預(yù)訓(xùn)練模型CV基礎(chǔ)骨干模型(訓(xùn)練)Imagenetikacctopl(倍數(shù))業(yè)界SOTAToolkit1業(yè)界SOTAToolkit2Toolkit1Toolkit2resnt733175.117415+0.84-0.9649.16densenetgcogLeNetnceptionV31mobilenetv3imallhmet226.46126.49repvggcomnetsmallblOCR文字檢測/識別(訓(xùn)練)(信數(shù))業(yè)界SOTA實裁+A100dbnetResnet5082.38Resnet34OCR文字檢測/識別(推理)(倍數(shù))工具組件/..前端API表達兼容各類開發(fā)接口，降低90%遷移成本MSAdapter工具：<15%代碼，全流程實現(xiàn)模型遷移◆基于昇騰昇思的紫東太初2.0-3.8B模型，開源圖像-文本多模態(tài)部分◆相比紫東太初1.0,支持更細粒度的圖像識別、更具知識的視覺問答、更豐富的圖像描述首個面向新冠病毒RBD區(qū)域變異的全環(huán)節(jié)模擬流程異思：大規(guī)模集群分布式計算的極致性能RBO序列突變概率4億蛋白質(zhì)序列高通量第選算法MinaSpore該研究入圍戈登貝爾新冠特別獎RmingAbuadofRmingAbuadof通過6.3*1022次運算為本項目提供：4096卡/1000P算力模型與算法研究超級應(yīng)用實驗驗證實驗驗證超級應(yīng)用實驗驗證實驗驗證速度慢成本高相比傳統(tǒng)方法提升15倍原始序列強活性強活性強活性實現(xiàn)全自動解析，性能指數(shù)級提升，實驗驗證精度持平約束數(shù)目約束信息92.1%吞吐率提升5倍加入昇思生態(tài)，社區(qū)全年200+場活動期待您的參與員節(jié)、CCF各類會議啟智校園行(6場)&HPDC高校分論壇(10+場)、HC高校分論壇(20+場)、智能基座具思高校行(16場)社區(qū)治理類(技術(shù)/專家委員會，4+場)MindCon極客周(6/12月各15+場)海外直播(12+場)基礎(chǔ)模型之夏、新版本集訓(xùn)營(4+場)實戰(zhàn)課程(4+場)、社區(qū)SIG/WG會議(40+場)、開源實習(xí)MindSpor大模型平臺技術(shù)架構(gòu)及成都海南sn能力提供通信網(wǎng)絡(luò)、數(shù)據(jù)中心、數(shù)據(jù)堆棧、分布式系統(tǒng)、區(qū)塊鏈芯片+模塊+操作系統(tǒng)：服務(wù)器、交換機、數(shù)據(jù)中心，衛(wèi)呈載荷/呈座大模型為先的新一代基礎(chǔ)設(shè)施和工具大模型為先的新一代基礎(chǔ)設(shè)施和工具數(shù)字化發(fā)展基礎(chǔ)基于硅的(芯片)量子(電子、光子、離子、原子)基于碳的(生物計算)④Web-2邊緣計算資料來源：20230423-陸奇博士-ChatGPT新機遇分享——新范式新時代新機會網(wǎng)絡(luò)、數(shù)據(jù)中心、數(shù)據(jù)堆棧、分布式系統(tǒng)、區(qū)塊鏈新平臺：基于大模型的模型可延申能力，自然語言全交互界面完整：開箱即用，有足夠的使用價值 商業(yè)模式：為開發(fā)者和合作伙伴創(chuàng)造價值數(shù)字化發(fā)展，業(yè)基于硅的(芯片)基于碳的(生歲激烈競爭開始：OpenAI、微軟、谷歌、創(chuàng)業(yè)公司、中國企數(shù)字化平臺的解剖結(jié)構(gòu)空間、世界、人類(化嘀機接口可植入設(shè)備、機器人、汽車、地點、設(shè)務(wù)(生物醫(yī)學(xué)于)殺手級應(yīng)用程序：垂直擴展，獲取實質(zhì)性的價值錨點：潛在的擴展——工具鏈、基礎(chǔ)設(shè)施、硅堆棧①個人電腦/②PC客戶端⑥元宇由⑧腦機接口磁盤操作系統(tǒng)服務(wù)器個人電腦互聯(lián)網(wǎng)移動互聯(lián)網(wǎng)/云計算邊練計算⑦⑨⑩量子生物基資料來源：20230423-陸奇博士-ChatGPT新機遇分享——新范式新時代新機會⑤ 活動 ⑤ 活動 型在線體驗為一體的AI學(xué)習(xí)與實踐社區(qū)模型/代碼等在線托管大模型可視化在線體驗活動、比賽、課程、產(chǎn)業(yè)保姆級文檔開發(fā)者課程任務(wù)組件模塊組件特性組件多維混合并行多維存儲優(yōu)化數(shù)據(jù)并行內(nèi)存復(fù)用Jupyter+任務(wù)組件模塊組件特性組件多維混合并行