極客時間 -徐文浩 - 6個月過去了重新認(rèn)識大語言模型

6個月過去了，重新認(rèn)識大語言模型徐文浩2023-10-18我是誰？?

AIGC再創(chuàng)業(yè)中?

專欄「AI?模型之美」的作者?

2010年開始做基于?數(shù)據(jù)和機(jī)器學(xué)習(xí)的?告算法?

2016年創(chuàng)業(yè)做智能聊天機(jī)器??

「深?淺出計算機(jī)組成原理」的作者?

「?數(shù)據(jù)經(jīng)典論?解讀」的作者有問題，咱彈幕?分享后回答?家的問題?

OpenAI最新的產(chǎn)品更新與體驗?

AdvancedDataAnalysis?

GPT4-V&DALL-E3?

FunctionCall和全新的Fine-Tune界面?

基于Llama-2的開源大模型的進(jìn)展與差距?

蒸餾GPT-4的Orca數(shù)據(jù)集和模型微調(diào)的進(jìn)步?

VLLM這樣方便運(yùn)用的推理框架OpenAI最新的產(chǎn)品體驗OpenAI最新的產(chǎn)品體驗ADA-從Advanced

Data

Analysis開始?

AdvanceData

Analysis本質(zhì)上，只是多了pandas庫的Agent?

從“智能”的角度來看，仍然只能作為我們的助手?

但是，Chat這個“持續(xù)對話”的界面極大地提升了產(chǎn)品的可用性DALL-E

3?

模型可控性有進(jìn)步（對比DALL-E2）?

NSFW過于嚴(yán)格，非常不可用?

視覺美觀上，主觀感覺仍然落后于Midjourney和StableDiffusion?

Chat這個“持續(xù)對話”的界面極大地提升了產(chǎn)品的可用性GPT4-V?

容易產(chǎn)生的一些想法：?

就是多了些描述圖片的功能，沒啥用?

實(shí)際上？?

讓我們來看一看讓GPT4-V幫我畫頁面?

進(jìn)一步提升了生產(chǎn)力！?

多輪聊天的交互體驗，仍然是GPT4-V能有好的體驗的重要環(huán)節(jié)?

有機(jī)會通過端到端的方案解決更復(fù)雜的問題（比如，自動駕駛）?

接下來的最大挑戰(zhàn)是成本和性能問題?

多去嘗試，可以試試和ChatGPT的App對話，語音合成的效果也令人震驚OpenAI

Platform的功能變更體驗function

call提示語：這是?戶的問題：{{question}}這是通過Wolfram拿到的答案：?戶的問題計算過程和答案提示語：{{answer}}這是?戶的問題：{{question}}請看?下是否回到了問題，并且輸出問題的答案我們有以下這些?具：1.

WebBrowser：可以訪問?絡(luò)進(jìn)?搜索的瀏覽器2.

Wolfram：可以進(jìn)?各種計算、數(shù)學(xué)，并且能夠精選知識選擇了Wolfram輸?：flighttimefrom

ShanghaitoBeijing給到?戶的最終答案我們應(yīng)該選?哪個?具？以及給予這個?具什么輸?？Function

Call

也是一樣的OpenAI

Platform的功能變更體驗無需編程的fine-tune開源模型和社區(qū)的進(jìn)展?

圍繞Llama-2的生態(tài)迅速繁榮?

Qlora，Vicuna，OpenOrca?

修改幾行代碼就能進(jìn)行模型微調(diào)，模型微調(diào)的技術(shù)門檻接近于0?

SizeMatters，簡單微調(diào)的70B也比精心訓(xùn)練的7B好?

DataMatters，訓(xùn)練數(shù)據(jù)的質(zhì)量非常重要?

指令微調(diào)，請ChatGPT當(dāng)老師?

不光要給答案，還要給解釋?

先學(xué)習(xí)簡單的問題（GPT-3.5

生成的指令），再學(xué)習(xí)復(fù)雜的問題（GPT-4生成的指令）?

大力出奇跡！?

Vicuna7萬條數(shù)據(jù)?

Orca

500萬條數(shù)據(jù)（400萬條GPT3.5，100萬條GPT-4）厲害的開源模型不只是微調(diào)?

開源的數(shù)據(jù)與數(shù)據(jù)工具

–

OpenOrca&airoboros?

開源的基座模型–

LlaMa2，F(xiàn)alcon180B，Mistral7B?

開源的微調(diào)代碼

–

Vicuna，LM-Flow?

開源的數(shù)據(jù)評估

–

lm-evaluation-harness?

開源的高性能部署

–

VLLM以及更多LL