體系化人工智能與大模型-2023.09

體系化人工智能與大模型o國(guó)移ú

馮俊q

2023-07-181大模型的優(yōu)勢(shì)強(qiáng)理解能力： 理解長(zhǎng)文，短文，t題，指e，?碼，提示，圖片，視頻，聲音，表?強(qiáng)生成能力： 寫詩(shī)，作文，畫畫，?碼，多性?仿ā實(shí)，非ā實(shí)ā強(qiáng)信息集成能力：

知?融\1數(shù)據(jù)融\，系統(tǒng)融\2大模型走向?yàn)槿?lt;做事=面臨的s戰(zhàn)泛理解能力： 理解長(zhǎng)文，短文，t題，指e，?碼，提示，圖片，視頻，聲音，表?Weak

in

Robustness

,

Coherence,

Representation

of

Understanding

(Internal

World

Model)強(qiáng)生成能力： 寫詩(shī)，作文，畫畫，?碼，多性?仿ā實(shí)，非ā實(shí)āHallucination,

Measure

of

Goodness,

Control-ability強(qiáng)信息集成能力：

知?融\1數(shù)據(jù)融\，系統(tǒng)融\Collaborative

learning

,

Continuous

Learning

,

Complex

System

AI復(fù)g系統(tǒng)的智能化體系業(yè)ó端r端智能優(yōu)化能力大小模型協(xié)同v人協(xié)同模式3大模型發(fā)展路徑：研判研判1模型相關(guān)的理?和?心技術(shù)O斷突|，

幅提升總體智能水平，

可?性，

孞全性和可?性亟需關(guān)2研判2模型商?的相關(guān)標(biāo)準(zhǔn)，支撐體系，

運(yùn)營(yíng)運(yùn)維體系在Tn行業(yè)逐步完善r位24體系化人工智能針對(duì)項(xiàng)目提出的挑戰(zhàn)，我們提出體系化人工智能?Holistic

AI，HAIā的關(guān)思路，依托泛在的網(wǎng)絡(luò)和AI算力，在_?境o實(shí)ā對(duì)AI能力進(jìn)行靈活且高效的配1調(diào)度1訓(xùn)?和部，?滿足日益~富的數(shù)智化業(yè)ó需求

，同時(shí)~?AI業(yè)ó可?可?孞全，其?特征~AI服ó大閉環(huán)、AI能力原子化重構(gòu)、網(wǎng)絡(luò)原生AI及安全可信AI2y據(jù)智能化業(yè)ó需求，

k需對(duì)AI

能力進(jìn)行調(diào)度、配置和運(yùn)行監(jiān)控，

使其能在最合理的算網(wǎng)資源上運(yùn)

行和服ó泛AI算力?/網(wǎng)/?/端/…GPU/ASIC/NPU/CPU/…泛AI算力提供yy?體系化AIOS泛在網(wǎng)絡(luò)資源提供yAI能力y?

原子化網(wǎng)絡(luò)原業(yè)ó行業(yè)及n人客戶AI

x心能力及模型提供y 5體系化人工智能

?Holistic

AIā與大模型大閉環(huán)原子化能力無??蓋_常檢測(cè)無??蓋_常?因分÷基?仿真的y?參數(shù)分÷基?圖像的工參_常發(fā)āy?參數(shù)決策?v大閉環(huán)?Big

Loop

AI)：“AI?業(yè)ó端r端的y?優(yōu)化~目標(biāo)，重點(diǎn)關(guān)多能力級(jí)聯(lián)P并聯(lián)優(yōu)化1_ú態(tài)?境oAI能力優(yōu)化的基x理?和技術(shù)，

從而?rAI產(chǎn)業(yè)y?2原子化(Atomized

AI)：AI技術(shù)依據(jù)高]?1易調(diào)度1自y?1易適配等原則進(jìn)行原子化拆解和重?2一n典型的小模型1 小模型2 小模型3 小模型4 ... 原子化AI能力包含通?智能層1適配層1?口層，通?智數(shù)據(jù)協(xié)同

模型參數(shù)協(xié)同

模型互學(xué)習(xí)能層可多n能力r享2AI原子化重?是體系化人工智能得?實(shí)ā的基x2基x模型1 基x模型2 ...數(shù)據(jù)基礎(chǔ)設(shè)y視覺類物理?境語(yǔ)音類網(wǎng)絡(luò)?_語(yǔ)言類|件算力結(jié)?化數(shù)據(jù)仿真?境......網(wǎng)絡(luò)原生?Network

Nativeā安全可信?Trust的

AIā6Big

Loop

AI組合多個(gè)模型的智能，包括基礎(chǔ)模型，

行業(yè)模型或小模型，

并能夠端到端服務(wù)于業(yè)務(wù)目標(biāo)網(wǎng)絡(luò)t題投?

級(jí)聯(lián)優(yōu)化語(yǔ)音?{+口語(yǔ)自然語(yǔ)言理解

級(jí)聯(lián)優(yōu)化0121ASR InterfacesTop-K:Token

Embeddingssoftmax

valuesMatrix

multiply:softmax

output

*

matrix

Gumbel

softmax:smooth

distributionNLU7Big

Loop

AI

with

Small

ModelsFuse

Multiple

Models

into

one

target

model"Cascaded

Multi-task

Adaptive

Learning

Based

on

Neural

Architecture

Search",

Y.Gao,

Shilei

Zhang,Zihao

Cui,

Chao

Deng,

Junlan

Feng*.

Interspeech

20238Big

Loop

AI

with

Small

ModelsCancade

three

models

-

speech

enhancement

,

ASR，

NLU

-

with

Bottleneck

Adapter"Cascaded

Multi-task

Adaptive

Learning

Based

on

Neural

Architecture

Search",

Y.Gao,

Shilei

Zhang,Zihao

Cui,

Chao

Deng,

Junlan

Feng*.

Interspeech

20239Big

Loop

AI

with

Big

Pretraied

ModelsFuse

Multiple

Models

into

one

target

model?

多個(gè)神經(jīng)元網(wǎng)絡(luò)層形成一個(gè)功能塊?

功能相似網(wǎng)絡(luò)：輸入相似時(shí)

，輸出相似?

將一個(gè)網(wǎng)絡(luò)分成多個(gè)功能塊，

相似的功能塊形成一個(gè)集合，這個(gè)集合稱為：

等同網(wǎng)絡(luò)塊集合"Deep

Model

Reassembly",

Xingyi

Yang

,

etc.

NeurIPS

202210Big

Loop

AI

with

Big

Pretraied

ModelsStitch

Multiple

Bi