2024年人工智能行業(yè)專題報告：AI革命-機遇與風險

2024年人工智能行業(yè)專題報告：AI革命_機遇與風險1.AI的本質(zhì)：三大謬誤和五大悖論悖論1：莫拉維克悖論（Moravec’sParadox）實現(xiàn)類似人類的高階的認知任務(wù)（如推理和解決問題）需要很少的計算能力，但在模擬人類的基本感知和運動技能時卻需要大量算力。悖論2：腦科學(xué)悖論計算機科學(xué)=硬件科學(xué)+軟件科學(xué)；智能科學(xué)=腦科學(xué)+心理學(xué)；人工智能=智能科學(xué)+計算機科學(xué)悖論3：可解釋性與自主性悖論AI系統(tǒng)的自主性增強但做出的決策越來越難以解釋。一方面，我們希望AI系統(tǒng)能夠自主地做出決策，但另一方面，我們也需要理解這些決策背后的原因，以便進行監(jiān)管和糾正錯誤。悖論4：知識圖譜悖論盡管AI和機器學(xué)習(xí)技術(shù)能夠從大量數(shù)據(jù)中發(fā)現(xiàn)模式和知識，但它們只能執(zhí)行預(yù)設(shè)的算法和處理已有的信息，而不會產(chǎn)生真正意義上的新知識。悖論5：生成AI悖論生成AI可能在生成內(nèi)容時表現(xiàn)出高度的創(chuàng)造性，但這些內(nèi)容的質(zhì)量和邏輯性卻難以評估，因為AI可能并不完理解其自身創(chuàng)作的內(nèi)容。2.通往AGI的路徑：美國看技術(shù)創(chuàng)新通往AGI的路徑：2024AI技術(shù)發(fā)展更新人工智能在幾個基準上已經(jīng)超過了人類的表現(xiàn)，包括圖像分類、視覺推理和英語理解等。然而，它在數(shù)學(xué)競賽、視覺常識推理和規(guī)劃等更復(fù)雜的任務(wù)上仍然落后于人類。2022年中國的AI專利數(shù)占全球的61%，而美國占約21%。如算2003-23年的總專利數(shù)美國占全球的60%，而中國占15%。產(chǎn)業(yè)界依然是AI研發(fā)的主要驅(qū)動力，2023年超一半的模型來自于產(chǎn)業(yè)界。通往AGI的路徑：尺度定律的終點尺度定律（Scalinglaws）是一種描述系統(tǒng)隨著規(guī)模的變化而發(fā)生的規(guī)律性變化的數(shù)學(xué)表達，通常表現(xiàn)為一些可測量的特征隨著系統(tǒng)大小的增加而呈現(xiàn)出一種固定的比例關(guān)系。尺度定律在不同學(xué)科領(lǐng)域中都有廣泛的應(yīng)用，包括物理學(xué)、生物學(xué)、經(jīng)濟學(xué)等，OpenAI2020年發(fā)現(xiàn)，大語言模型也遵循著尺度定律（以Transformer為代表）。尺度定律是通過增加計算量、模型參數(shù)和數(shù)據(jù)集大小來提升單個大語言模型的“智能”水平。但在多模態(tài)的數(shù)據(jù)集中，尺度定律的極限更加難以達到，模型性能會在達到極限前提前衰減。通往AGI的路徑：多模態(tài)大模型訓(xùn)練模型的算力需求激增，如早期的AlexNet僅需要470PBFLOP用于訓(xùn)練，而2017年發(fā)布的Transfomer則需要約7400PB。谷歌的GeminiUltra是目前最先進的基礎(chǔ)模型之一，則需要500億PBFLOP的算力。傳統(tǒng)的人工智能系統(tǒng)的能力有限，語言模型在文本理解方面表現(xiàn)出色，但在圖像處理方面表現(xiàn)不佳，反之亦然。但隨著多模態(tài)大模型的發(fā)展，一些新的模型如谷歌的Gemini和OpenAI的GPT-4，已經(jīng)展示出同時處理好圖像和文本任務(wù)的能力，甚至可以處理音頻如GPT-4o。通往AGI的路徑：小模型/混合專家模型MoE混合專家模型（MixtureofExperts：MoE）的前提是如果有一個復(fù)雜問題可以被拆分為多個領(lǐng)域知識的簡單問題，通過把各個領(lǐng)域問題分發(fā)各個領(lǐng)域的專家來解決，最后再匯總結(jié)論。它由多個專業(yè)化的子模型（即“專家”）組合而成，每一個“專家”都在其擅長的領(lǐng)域內(nèi)做出貢獻?；旌蠈＜夷Ｐ?MoEs)與稠密模型相比，預(yù)訓(xùn)練速度更快；與具有相同參數(shù)數(shù)量的模型相比，具有更快的推理速度；需要大量顯存，因為所有專家系統(tǒng)都需要加載到內(nèi)存中；雖然在微調(diào)方面存在諸多挑戰(zhàn)，但對混合專家模型進行指令調(diào)優(yōu)具有很大的潛力。3.2024商業(yè)化起步：中國看場景應(yīng)用HostingLLM:硬件成本，訓(xùn)練成本，調(diào)度時延，閑置算力管理等等。訓(xùn)練Transformer成本僅需930USD，GPT4則要7800萬USD，Gemini則高達近2億USD。Deepseek（236B參數(shù)，32k上下文）：每百萬token輸入1元，每百萬token輸出2元，行業(yè)的1%。字節(jié)豆包（32k上下文）：每百萬token0.8元，（128k上下文）每百萬token5元。4.可信大模型的評測體系—體系迭代可信大模型的評測體系–基準測試榜單深度學(xué)習(xí)的評估一直使用基準測試（Benchmark），大模型也通過設(shè)計合理的測試任務(wù)和數(shù)據(jù)集來客觀、公正、量化的評估模型的性能，是產(chǎn)學(xué)研各界最為認可的人工智能評測方式。大模型基準測試榜單主要通過多維度評測考察模型綜合能力，測試方法主要分為客觀考試和人工主觀評價?？尚糯竽Ｐ偷脑u測體系–首輪測試對比本次試評測大模型總數(shù)30家，其中閉源商業(yè)大模型12家，開源大模型18家。一級測試維度為通用、行業(yè)、應(yīng)用、安全，可以劃分為理解、知識、學(xué)科、可靠等32個二級子維度。商業(yè)閉源大模型能力優(yōu)于開源大模型，在榜單的綜合能力前10名中，商業(yè)閉源大模型占據(jù)了9席?？尚糯竽Ｐ偷脑u測體系–開源模型能力榜單從開源大模型的榜單結(jié)果可以看出，開源大模型的能力表現(xiàn)除了依賴模型參數(shù)量，還與版本迭代時間相關(guān)。開源大模型在通用評測中的數(shù)學(xué)、推理能力上與商業(yè)模型有明顯差距，并且在自主可控等方面存在風險。5.GPT-4o：發(fā)力端側(cè)語音模式時延縮短，優(yōu)化用戶體驗：之前延遲時間分別為GPT-3.5的2.8秒和GPT-4的5.4秒，GPT-4o將這一延遲被大幅縮短為320毫秒。多模態(tài)大模型全面賦能：傳統(tǒng)語音模式通過三模型實現(xiàn)：音頻轉(zhuǎn)文本，GPT3.5/GPT-4處理文本，再文本轉(zhuǎn)音頻。但GPT-4會丟失信息，因其無法直接處理語調(diào)、多說話者、背景噪音，且不能輸出笑聲、歌唱或情感。而GPT-4o通過端到端訓(xùn)練了一個全新的模型，能夠同時處理文本、視覺和音頻輸入輸出。這意味著所有的輸入和輸出都由同一個神經(jīng)網(wǎng)絡(luò)處理。GoogleI/O2024GeminiLive：谷歌發(fā)布了語音對話人工智能助手GeminiLive，用戶可以在移動應(yīng)用上與Gemini進行對話，對標GPT-4o。輕量化模型Gemini1.5Flash：基于“蒸餾”技術(shù)，專為大規(guī)模服務(wù)設(shè)計，速度更快、成本低至0.35美元/百萬Token。圖像、視頻和音樂的人工智能生成工具：谷歌發(fā)布了針對圖像、視頻和音樂的人工智能生成工具，分別為Imagen3、Veo和MusicAISandbox。Gemini支持的AIOverview功能：谷歌即將在瀏覽器搜索中引入Gemini支持的AIOverview功能，新功能可以使瀏覽器支持多輪推理，將復(fù)雜問題分解處理，將原本需要幾分鐘甚至幾個小時的研究壓縮到在幾秒鐘內(nèi)完成，還將支持在搜索中對視頻提問。硬件生態(tài)：TPU，ARM架構(gòu)的CPU，GPU同NVIDIA合作，通過Cloud賣算力?，F(xiàn)有產(chǎn)業(yè)生態(tài)賦能：AskPhotos，Workspace，etc。6.GenAI在制造業(yè)中應(yīng)用的潛力工業(yè)制造領(lǐng)域的運營利潤提升相對較小，GenAI將逐步提高生產(chǎn)效率，而非對產(chǎn)品和成本結(jié)構(gòu)進行徹底改變。GenAI在工業(yè)制造領(lǐng)域使用相對容易采納，大多數(shù)用例都關(guān)注于在已知技術(shù)、可行性和責任范圍內(nèi)的內(nèi)部流程優(yōu)化，可行性和責任挑戰(zhàn)較低，或者可以輕易緩解。顛覆程度較低，商業(yè)模式（產(chǎn)品類型、定價模式）基本保持不變，顛覆性影響主要體現(xiàn)在運營模式上。GenAI將作為