微軟和OpenAI的關(guān)系及產(chǎn)品矩陣-2023.12

Azure

Open

AI微軟（中國）有限公司確保通用人工智能（AGI）造福人類。全球每一個人每一個組織成就不凡GPTCodexDALL·E

previewChatGPT

preview生成對話響應(yīng)生成和理解代碼根據(jù)文本提示生成圖像生成和理解文本Comparing

OpenAI.comandAzureOpenAIServiceAzure

OpenAI

ServiceEarlyAccessto

ModelsDelivery

MethodOpenAI

Research的最新模型，包括alpha和beta模型，將始終首先在OpenAI.com

上提供。一旦模型在OpenAI.com

上正式發(fā)布，微軟將確定它們在Azure

OpenAI服務(wù)上的時間和產(chǎn)品。作為基于SaaS的AIAPI交付作為第一方Azure

服務(wù)提供，用于客戶的Azure租戶/訂閱HostingLocationsPaymentAzure

UnitedStatesAzure

UnitedStates

andEurope…and

morePayMicrosoftPayOpenAIComplianceSOC2Type1,

SOC

Type2(pending),

HIPAAFull

suiteof

complianceofferings

(seefull

Microsoft

ComplianceOfferings)ModelsGPT-3.5,

CodexandDALL-EChatGPT

APIandWhisper

API(coming

soon)GPT-3.5,

DALL-EandCodex(including

CodexFine-Tuning)ChatGPT

API(coming

soon)SolutionsSupportChatGPT,

DALL-ELabsGithub

Copilot,Teams

Premium

andViva

SalesSupport

providedbythe

AzureSupport

TeamSupport

providedbyOpenAI

Support

Team99.5%SLAAzure

ServiceLevel

AgreementsSecurity

andNetworking單點登錄

（SSO）、第三方身份訪問管理和基于角色的權(quán)利管理Azure

ActiveDirectory、基于角色的訪問控制、客戶管理的密鑰、專用鏈接和網(wǎng)絡(luò)安全模型服務(wù)GPT迭代研發(fā)?

AOAI

PG有計劃兩邊能力完全平等?

未來正式模型，兩者間會同步發(fā)布認(rèn)知服務(wù)成果發(fā)布?

ChatGPT?

DALL-E2?

Open

AI

Beta

Playground但是公開測試正式發(fā)布?

兩邊的gap不會完全消除?

由于兩邊企業(yè)性質(zhì)導(dǎo)致Azure?

客戶用OpenAI作為early

preview，然后再挪到Azure商務(wù)價值?

私有網(wǎng)絡(luò)（

vNet）?

Private

Endpoint/Link?

Custom

DomainGPT迭代研發(fā)成果發(fā)布?

CMK?

RBAC/IAM

權(quán)限管理?

Azure

AD集成?

托管身份

（Managed

ID）?

企業(yè)合規(guī)

（SOC2，

HIPAA，

ISO，GDPR

Data

Privacy

etc.）?

企業(yè)倫理審查

（RAI）?

企業(yè)級有償Support高安全高可用高集成公開測試獨家授權(quán)正式發(fā)布認(rèn)知服務(wù)Azure?

API

文檔?

多區(qū)域可用/容災(zāi)?

保證SLA

99.9%?

更高RateLimit

（TPM/QPM）?

更高Token上限

（Fine

Tuning）?

Endpoint部署管理和監(jiān)控?

Fine-tuning?

API發(fā)布/管控?

Endpoint

hosting基于Azure的API擴充：Azure??

Token監(jiān)控?

更好的Error

&

debug支持?

集成現(xiàn)有Cognitive

Service的服務(wù)架構(gòu)?

集成資源監(jiān)控

（Monitor

/

Log

Analytics）?

集成自動化

（Automation

Task，

ARM部署）?

集成Express

Route?

集成密匙管理

（AKV）?

集成數(shù)據(jù)加密

（Azure

Storage）GenerativeAIGPT-3CodexDALL·EChatGPTPrompt:Prompt:Prompt:一只白色的貓What

isthefastestanimalonland?為冰淇淋店寫一個標(biāo)語。Response:Tablecustomers,columns=[CustomerId,FirstName,LastName,

Company,Address,City,State,Country,Response:thecheetah

(Acinonyxjubatus),

which

canreachspeedsofup

to60

miles

(97kilometers)perhour.我們用每一勺提供微笑！PostalCode]Whatmakesthemso

fast?CreateaSQLquery

forallcustomers

inTexasnamedJaneCheetahsarebuiltforspeedandhaveseveral

adaptationsthatmakethemthefastestlandanimal:

leanbody,

long

legs,flexiblespine,

largenostrils

andclawsthatdon’tretract.query

=Response:SELECT*FROMcustomersWHERE

State

='TX'ANDFirstName='Jane'Azure

OpenAI

|

To

p

4

功能和用戶案例呼叫中心、客服中心等對客戶的問題自動生成回復(fù)呼叫中心、客服中心等客戶對話日志的總結(jié)自然語言和SQL互換搜索特定產(chǎn)品/服務(wù)的評論專業(yè)主題文檔摘要(例如財務(wù)報告，分析師文章)轉(zhuǎn)換自然語言以查詢專有數(shù)據(jù)模型為網(wǎng)站生成個性化的UI信息發(fā)現(xiàn)與知識挖掘社交媒體趨勢總結(jié)代碼注釋和文檔呼叫中心分析端到端:

分類、情感、實體提取、摘要和電子郵件生成客戶洞察360：實時總結(jié)客戶查詢和趨勢、搜索和內(nèi)容來生成個性化內(nèi)容業(yè)務(wù)流程自動化:

結(jié)構(gòu)化和非結(jié)構(gòu)化文檔搜索、生成查詢數(shù)據(jù)模型代碼、生成內(nèi)容Azure

OpenAI

Ser

vice

Models

|型號系列GPT-3CodexDavinci-codexDavinci?

4000

tokens?

針對特定受眾的摘要?

生成創(chuàng)意內(nèi)容Cushman-codexCurie?

2048

tokens?

回答問題?

復(fù)雜、細(xì)致入微的分類Babbage?

2048

tokens?

語義搜索排名?

中等復(fù)雜度分類Ada?

2048

tokens?

簡單分類?

解析文本和設(shè)置文本格式能力能力Open

AI

它是…派生派生預(yù)訓(xùn)練模型家族GPT

XCodexEmbedding(俗稱大模型)生成文字生成代碼生成向量訓(xùn)練得到Moderation

(舊稱Content

Filter)GPT模型具備一定的真實世界知識儲備，基本常識和概念（世界觀）GPT架構(gòu)截止2021年6月學(xué)習(xí)方法地表最強自然語音類深度學(xué)習(xí)架構(gòu)，用來理解文字并做出相應(yīng)的輸出text-davinci-003011010110101101011010110101101010101010101010101010101010101010101001001001001001001學(xué)習(xí)內(nèi)容(文字類素材)111111010101010101010101010101010101010101010101010101000000Open

AI

它不是…?

Chat

GPT

和

DALL-E

是以GPT3.5為基礎(chǔ)衍生出來的應(yīng)用ChatGPTDALL-E優(yōu)化問題解答和對話形式輸出優(yōu)化RGB三原色輸出?

目的用來展示GPT可以做到什么程度?

它不是模型服務(wù)，不能直接售賣?

我們會有對應(yīng)服務(wù)推出，暫定2月28日名為Enterprise

ChatGPTGPT

3.5生成文字訓(xùn)練得到OpenAI能做什么?GPT

XCodexEmbedding生成文字生成代碼生成向量1.生成文章

(Completion)a.

ConversationalAI

（客服Bot）b.

疑難解答

（QA）

*c.

翻譯1.文字轉(zhuǎn)程序1.文字轉(zhuǎn)矢量a.

語義匹配*a.

Auto

testing(VectorizedSemanticSearch)b.

疑難解答

(QA)*b.

Debuggingc.

CodingQualityCheckd.

代寫代碼*c.

建立更強大的知識庫

(KB)d.

根據(jù)語言理解生成文字e.

因果關(guān)系推理e.

代碼生成文檔*(Reversecoding)f.

語句/語法/詞匯改善2.

歸納/總結(jié)

(Summarization)3.

分類

(Classification)a.

情緒分析

(Sentiment

Analysis)b.

打標(biāo)簽

/分類*表示可能需要多個能力組合實現(xiàn)和Cognitive

Ser

vice

怎樣區(qū)別？解決方案類

(Pre-built)泛應(yīng)用領(lǐng)域

(原子能力)醫(yī)學(xué)文檔解析視頻分析/打標(biāo)簽分類生成文字對話類語言分析歸納/總結(jié)翻譯視覺類語音類搜索Pre-built

OCR方案NLP

/

語言類?

發(fā)票/小票/收據(jù)識別?

表單解析&識別?

名片識別?

名片識別認(rèn)知服務(wù)認(rèn)知服務(wù)?

底層結(jié)構(gòu)差異導(dǎo)致OpenAI各方面碾壓傳統(tǒng)AI?

OpenAI不具備的能力?客戶尋求的解決方案級別的應(yīng)用

(開箱即用)?

GPT本身豐富的語言理解能力和知識儲備可實現(xiàn)零學(xué)習(xí)或Few-shot

learning

(舉一反三)?

商用成熟，包括定制化在內(nèi)的業(yè)務(wù)支援豐富?

未來Cognitive

Services的底層會被GPT或其它Transfer架構(gòu)取代

(比如

Florence)不是對抗，而是聯(lián)合！?

Cog

Service本身的多元性

+

配合GPT強大的語言能力

=

提升現(xiàn)有能力或打造全新體驗FormRecognizerOCR發(fā)票，整理出發(fā)票的性質(zhì)，每個條目的類別及合規(guī)檢查更智能的業(yè)務(wù)自動化處理更進階的會議智能助手提取結(jié)構(gòu)數(shù)據(jù)自動歸納會議主題，紀(jì)要，ActionPoints，重要時間線

+moreSTT實時會議轉(zhuǎn)寫游戲視頻解析根據(jù)標(biāo)簽實施理解事件，生成情景描述生產(chǎn)自然語音搭配虛擬人做直播介紹全新的用戶體驗/打標(biāo)語音標(biāo)識一段理解需求，生成對應(yīng)的代碼部署到Power把RPA玩到新高度！需求（

STT）Automate上！微軟數(shù)據(jù)采集以及監(jiān)控濫用和有害內(nèi)容生成AzureOpenAI服務(wù)存儲服務(wù)的提示和完成，監(jiān)控濫用，并開發(fā)和提高

AzureOpenAI內(nèi)容管理系統(tǒng)的質(zhì)量。調(diào)查和驗證潛在的濫用行為;對于已在歐盟部署了

Azure

OpenAI服務(wù)的客戶，授權(quán)的微軟員工將位于歐盟。這些數(shù)據(jù)可用于改進我們的內(nèi)容管理系統(tǒng)。如果確認(rèn)存在違反政策的情況，我們可能會要求您立即采取措施來糾正問題并防止進一步濫用行為。未能解決此問題可能會導(dǎo)致暫停或終止

AzureOpenAI資源訪問?？蛻舫砷L之路指南Engagement

Journey的參考團隊Lv.

3

有了實操經(jīng)驗客戶等級???商業(yè)流程價格交涉PG

支持Lv.

1

小白Open

AI

Service?????企業(yè)安全?引導(dǎo)客戶體驗Playground申請OpenAI參考官方doc????學(xué)習(xí)Open

AI

API學(xué)習(xí)Fine

Tuning部署團隊調(diào)用監(jiān)控/運維GPT模型管理流量管理Etc.??實施PoC/prototype驗證Use

Case效果????幫助客戶建立基礎(chǔ)Open

AI

101Use

Case介紹Demo團隊??申請Azure

OpenAI協(xié)助Fine

Tuning和Prompt

Design??協(xié)助參數(shù)和模型優(yōu)化設(shè)計關(guān)聯(lián)Azure架構(gòu)Lv.

2

初步了解GPTLv.

4有成熟的應(yīng)用準(zhǔn)備Go

Live有Use

Case想法Azure

OpenAI

測試體驗：

Azure

Open

AI

StudioCreateyourbasemodelAzure

Marketplace

&createAOAI

resourceAzure

Open

AI

StudioOpenplayground

inyour

deployments

&model

to

checkthisout17Text

Classification自定義命名實體(Few-Shot)從以下句子中提取職位。句子：JohnDoe作為

Linux

工程師在微軟工作了

20年。職稱：

Linux工程師###句子：JohnDoe已經(jīng)在微軟工作了20年，他喜歡它。職稱：

無###句子：斷背山|導(dǎo)演

|李安職稱：

導(dǎo)演###句子：Damien是

Platform.sh

的首席技術(shù)官，他之前是領(lǐng)先的電子商務(wù)提供商CommerceGuys的首席技術(shù)官。職稱：

首席技術(shù)官Summarization抽取性與抽象性萃取萃取(語義)使用自然語言生成技術(shù)生成新文本選擇原文的一部分以形成摘要?

更難?

更靈活（更人性化）?

容易?

限制性（無釋義）彼得和伊麗莎白乘出租車去參加Party。在聚會上，伊麗莎白暈倒并被送往醫(yī)院。彼得和伊麗莎白乘出租車去參加Party。在聚會上，伊麗莎白暈倒并被送往醫(yī)院。彼得和伊麗莎白參加派對。伊麗莎白被送去醫(yī)院伊麗莎白在與彼得一起參加派對后住院。理解這些最常用的參數(shù)

Parameters

參數(shù)

Temperature

–隨機性/創(chuàng)造力

Max

tokens

–

After

Max

Tokens

are

reached,

stop

the

completion.

Freq

penalty

–完成中重復(fù)單詞

Presencepenalty

–不要使用提示中已經(jīng)出現(xiàn)的語言

EmbeddingEmbedding不支持Fine-Tuning，但是它的應(yīng)用最為廣泛，手法也需要結(jié)合傳統(tǒng)Machine

Learning。

思路如下：以輿情分析為例1.

使用Embedding模型把評論數(shù)據(jù)轉(zhuǎn)為向量，并保存到Vector

Database2.

對每一個Review人工標(biāo)注（Positive，

Negative等）3.

使用傳統(tǒng)ML分類算法學(xué)習(xí)標(biāo)注同樣適用于其他類型的4.

對新的評論，同樣用Embedding轉(zhuǎn)換為矢量Machine

Learning手法5.

用3學(xué)習(xí)到的模型進行預(yù)測，得到標(biāo)簽。使用嵌入進行相似性搜索將內(nèi)容編碼為嵌入后，可以從用戶輸入中獲取嵌入，并使用它來查找語義上最相似的內(nèi)容。userinputembeddingresult

set“Whatisaneutron

star?”[13

33

34

13…

]Azure

OpenAIembeddings

tutorial

-Azure

OpenAI|Microsoft

LearnIn-Context

Learning

情境學(xué)習(xí)零樣本

（Zero-shot)該模型僅根據(jù)任務(wù)的自然語言描述來預(yù)測答案。不執(zhí)行梯度更新。零樣本

(Zero-shot)

-在不提供樣本的情況下進行預(yù)測12將英語翻譯成法語：<------任務(wù)描述<------提示奶酪=>單樣本

(One-shot)除了任務(wù)描述之外，模型還會看到任務(wù)的單個示例。不執(zhí)行梯度更新。單樣本

(One-shot)

-使用提供的一個樣本進行預(yù)測123<------任務(wù)描述<------示例將英語翻譯成法語：海獺

=>loutredemer奶酪=><------提示小樣本

(Few-shot)除了任務(wù)描述之外，模型還會看到任務(wù)的幾個示例。不執(zhí)行梯度更新小樣本

(Few-shot)

–使用提供的幾個樣本進行預(yù)測將英語翻譯成法語：海獺

=>

loutredemer薄荷=>

男士<------任務(wù)描述12345<------示例<------示例<------示例毛絨長頸鹿=>長頸鹿奶酪=><------提示微軟機密正確理解Fine

Tuning如果有客戶抱怨怎么我越Tune越差？？Here’s

why正確理解Fine

Tuning所以我們作為大人，也要用榜樣/例子來引導(dǎo)孩子模仿，而非直接教他對或錯，因為這樣會破壞它的現(xiàn)有認(rèn)知

(Supervised

Learning)GPT像個小孩,

它閱遍了全世界的書籍它是通過主觀例子來學(xué)習(xí)世界。例子沒有對錯

，只有相對好壞(ReinforcementLearning)Fine

Tuning就是用例子來引導(dǎo)GPT的過程而怎么設(shè)計Prompt是個很深的學(xué)問。

微軟可以幫助客戶設(shè)計Prompt

DesignWeGPTWhen

Fine-Tuning

is

Needed如果做出不真實的陳述（“胡說八道”）模型結(jié)果的準(zhǔn)確性不符合要求通過微調(diào)，您可以通過提供以下內(nèi)容從通過

API

提供的模型中獲得更多收益：比提示設(shè)計更高質(zhì)量的結(jié)果?

能夠訓(xùn)練比提示所能容納的更多示例?

更低的延遲請求微調(diào)通過訓(xùn)練比提示中可以容納的更多的示例來改進少數(shù)鏡頭學(xué)習(xí)，讓您在大量任務(wù)上獲得更好的結(jié)果。對模型進行微調(diào)后，無需再在提示中提供示例。這樣可以實現(xiàn)更低的延遲請求。Best

Practices

of

Fine-Tuning微調(diào)數(shù)據(jù)集必須采用

JSON格式一組訓(xùn)練示例，每個示例由單個輸入（“提示”）及其關(guān)聯(lián)的輸出（“完成”）組成對于分類任務(wù)，提示是問題陳述，完成是目標(biāo)類對于文本生成任務(wù)，提示是指令/問題/請求，完成是文本事實Best

Practices

of

Fine-Tuning微調(diào)數(shù)據(jù)大?。焊呒壞Ｐ停ㄟ_芬奇）在有限的數(shù)據(jù)量下表現(xiàn)更好;有了足夠的數(shù)據(jù)，所有模型都做得很好。使用更多高質(zhì)量示例，微調(diào)效果更好。要微調(diào)性能優(yōu)于對基本模型使用高質(zhì)量提示的模型，您應(yīng)該提供至少數(shù)百個高質(zhì)量的示例，最好由人類專家進行審查。從那里開始，性能往往會隨著示例數(shù)量的每增加一倍而線性增加。增加示例數(shù)量通常是提高準(zhǔn)確性的最佳和最可靠的方法。Fine

Tuning,

not

“Fine”

Tuning避免撞墻的小技巧不要過度重復(fù)利用同一個數(shù)據(jù)

（技術(shù)語言：正確設(shè)置參數(shù))??????盡量接近真實用戶用例和習(xí)慣

（技術(shù)語言：保持學(xué)習(xí)和驗證數(shù)據(jù)格式高度一致)不同的case要有對應(yīng)的Prompt

Design，不要模板化Meta

prompt

engineering

明確指示弱輸出范例，有效避免“不懂裝懂”示例要足夠明確性和具體性。配合邏輯解釋會幫助獲得更好Fine

Tune表現(xiàn)，尤其數(shù)據(jù)量不大時。Fine

Tune可以循序漸進，避免一次喂太多數(shù)據(jù)。

從幾百開始，逐漸加大數(shù)據(jù)量。更多具體Best

Practices可以聯(lián)系

GBB

/

Specialized

CSA

以及PG來協(xié)助客戶

！什么時候用Fine

Tuning

？Fine-tuning

主要是用來改善長期輸出形式。相對的Prompt

Engineering是短期/一次性改變輸出的方法。Fine-tuning的長期表現(xiàn)會隨著樣本數(shù)量的翻倍呈現(xiàn)類線性特性的增長。????建議首先做prompt

engineering來驗證提升潛力。

然后轉(zhuǎn)為Fine-tuning

做長線改善以幫助節(jié)省token。Fine-tuning可以用來限定范圍，提高domain相關(guān)度根據(jù)某一類特定產(chǎn)品標(biāo)簽生成描述根據(jù)某一篇博文內(nèi)容風(fēng)格寫推廣廣告企業(yè)級（知識庫）客服Bot???模型并非越新,

越大就越好

!General建議?

有大量優(yōu)質(zhì)（指人工審核/達標(biāo)的）數(shù)據(jù)，建議低復(fù)雜度模型，精度或許能媲美Davinci。?

如果是分類/歸納這類相對簡單的任務(wù)，建議A模型?

如果數(shù)據(jù)量不大（幾百）或質(zhì)量不保證（如未經(jīng)校準(zhǔn)的數(shù)據(jù)），則建議D模型General建議?

步驟建議先從Davinci開始建立一個benchmark，隨后逐一降低模型復(fù)雜度驗證Fine-Tuning能達到的結(jié)果?

選出一個客戶認(rèn)為最均衡的模型少量數(shù)據(jù)Fine-tuningD模型Benchmark比對高性能少數(shù)據(jù)高價格高延遲比對C模型比對B模型A模型逐步增加數(shù)據(jù)量和降低模型復(fù)雜度需更多數(shù)據(jù)低延遲低價格合理性能*

我們的finetune計價方式和OpenAI不一樣，

無法互換如何評估預(yù)算英文750~800

words=

1000

token

（1.33倍率）???中文以及其它全角字符token倍率差異比較大，難在紙面上預(yù)測。

越是生僻復(fù)雜結(jié)構(gòu)的字，token消耗越多。最好方法是測試一些接近真實用例的情景，衡量token消耗情況。估算方式*TC

O（)

++=XX

1.33用戶平均消耗字?jǐn)?shù)（雙向合計）Token倍率每月Fine-tune時長模型Hosting時長月活躍用戶數(shù)(MAU)單價

?(per

1,000

tokens)單價單價??（)

++XX

1.33用戶平均消耗字?jǐn)?shù)（雙向合計）Token倍率每月Fine-tune時長模型Hosting時長月活躍用戶數(shù)(MAU)案例某知名電商2C客服APP有

10萬月均活躍客戶，每人每月平均10次互動，每次總計250字?jǐn)?shù)

(英文)模型每周訓(xùn)練一次20小時，每月24x7供應(yīng)??以Ada為例：$1649.8=(100,000

*

250

*

1.33

/

1000

)

*

$0.0004

+

(20

*

4

*

$20)

+

(730

*

$0.05)/每月D模型$32,205CBA模型$2161$1835$1649模型模型*

我們的finetune計價方式和OpenAI不一樣，

無法互換GPT

/

OpenAI

限制無法在離線跑

。

現(xiàn)在不會，未來也不見得會。GPT不擅長數(shù)字和推理類處理。GPT缺乏可靠性

(甚至?xí)?。

其商用穩(wěn)定性需要大量依賴精良的Fine

Tuning！只有GPT

X和Codex能Fine-Tune,

Embedding不支持**

Embedding有特殊的訓(xùn)練方法Media

ExampleNewsAnalyses&ArticleCreationsTopicClassificationSearchSEOGlobalwarming,Deforestation,CarbonfootprintVirtual

AgentAnalytics

Entity

ExtractionReportingKnowledge

MiningOrganizations:IPCC,UNFCCC,GreenPeaceGeography:Canada,USAKeyWord

ExtractionHumanactivities,fossilfuels,earthatmosphereQuestion

andAnswerContent

AnalysisWhatistheIntergovernmentalPanelonClimateChange(IPCC)?TheIPCCisaninternationalorganizationthatstudiesclimatechangeandtheeffectiveness…AzureAzureSpeechOpenAITranscription

Text

CompletionVideo

summarizationThearticlediscussesaboutglobalwarminganditseffectsontheEarth'satmosphere,wildlife,andhumancommunities.ItstatesthattheprimaryContent

CreationNews

Broadcast(Global

Warming)causeofglobalwarmingis….News

article

generation

(orblogs,sGloocbailalwarmmeindgi

ai

s)thegradualincreaseintheoveralltemperatureoftheEarth'satmosphere,primarilycaused…Script

GenerationIdeationProductivityPersonalizationAccessibilityAct1:TheshowopenswithashotofabeautifulcoastaltownAct2:AsthetownstrugglestocopewiththePersonalized

Content

generation

(orcrisis…A/B

TestingAdvertising)Simon,assomeonepassionateaboutglobalwarming,youareawareoftheurgentthreatitposestoourplanet…Sports&Entertainment

ExampleNaturallanguagetoSQLtosurfacestatsdata(FanEngagement)"Howmanypoints

didLebronJamesscore

in2021?"SELECT

SUM(points)

FROMbasketball_stats

WHERE

player