樊文飛-YashanDB 中國軟件自強自立自信

YashanDB深圳計算科學(xué)研究院&崖山科技軟件行業(yè)現(xiàn)狀?中國上市軟件公司的總體利潤已連續(xù)3年下滑！?2024年上半年同比下滑了91.62%！439.440002021年中報2021年年報2022年中報2022年年報2023年中報2023年年報2024年中報軟件行業(yè)代表一個國家的軟實力中美軟件公司差異巨大美國軟件行業(yè)類公司營收序號公司名市值2023年營收凈利潤1Oracle3891億499.54億85.03億2Microsoft33219億2199.15億723.61億3Amazon20110億5747.85億304.25億美國傳統(tǒng)行業(yè)類公司營收序號公司名行業(yè)市值2023年營收凈利潤1SaudiAramco石油17859億4408.8億1213億2Toyota汽車2761.80億2741.66億180.89億3GENERAL ELECTRIC電氣1740.1億679.55億90.66億4Walmart(沃爾瑪)零售5446.28億6112.89億116.8億中國軟件行業(yè)類公司營收序號公司名市值2023年營收凈利潤1金山辦公144.65億6.30億2科大訊飛136.62億17.43億0.78億3寶信軟件126.73億17.85億3.53億??幾家軟件巨頭市值超萬億美元，遠(yuǎn)遠(yuǎn)超過G20國家中巴西、澳大利亞、土耳其、南非等國GDP?軟件行業(yè)頭部科技公司已超越傳統(tǒng)行業(yè)龍頭，一躍成為全球最有價值的公司之一數(shù)據(jù)來源：金十?dāng)?shù)據(jù)/百度股市通/新浪財經(jīng)，2024年6月30日（單位：美元）軟件是數(shù)字經(jīng)濟的重要組成中美軟件企業(yè)對比，四年差距拉大30余倍四年前四年后差額變大差額變大ss+-++-+單位：美元；2020年4月27日、2024年6月30日數(shù)據(jù)"中國軟件陷于至暗時刻"軟件產(chǎn)業(yè)兩大根基：一是基礎(chǔ)軟件，一是專業(yè)服務(wù)附加值軟件產(chǎn)業(yè)smilingcurve?基礎(chǔ)使能vs.項目應(yīng)用；附加值軟件產(chǎn)業(yè)smilingcurve?基礎(chǔ)使能vs.項目應(yīng)用；技術(shù)專利?基礎(chǔ)軟件?咨詢服務(wù)?解決方案?高端軟件外包?低端軟件外包基礎(chǔ)軟件特征產(chǎn)品模式增值服務(wù)模式代工/項目模式產(chǎn)品模式增值服務(wù)模式代工/項目模式上游下游 亟待自強:創(chuàng)新,標(biāo)準(zhǔn)化,基礎(chǔ)軟件現(xiàn)在禁芯片；如果以后禁（開源）軟件呢？軟件領(lǐng)域被歐美長期主導(dǎo)2020年全球基礎(chǔ)軟件領(lǐng)域市場份額美國基礎(chǔ)軟件業(yè)務(wù)收入占全球4/510數(shù)據(jù)來源：中國軟協(xié)2023年數(shù)字經(jīng)濟占GDP比重數(shù)字經(jīng)濟成為國家經(jīng)濟發(fā)展的發(fā)動機，數(shù)據(jù)庫是數(shù)據(jù)產(chǎn)業(yè)化的組成，也是產(chǎn)業(yè)數(shù)數(shù)字產(chǎn)業(yè)化(軟件、電信等)數(shù)字產(chǎn)業(yè)化(軟件、電信等)產(chǎn)業(yè)數(shù)字化81.3%數(shù)字經(jīng)濟42.8%中國信通院《中國數(shù)字經(jīng)濟發(fā)展研究報告（2024年）》中國軟件行業(yè)任重道遠(yuǎn)國產(chǎn)數(shù)據(jù)庫發(fā)展歷程?以往國產(chǎn)數(shù)據(jù)庫系統(tǒng)：歷經(jīng)三代發(fā)展，沒有能夠真正替代Oracle的產(chǎn)品?Oracle代碼負(fù)擔(dān)無法及時應(yīng)對的大數(shù)據(jù)分析挑戰(zhàn)第二代第三代傳統(tǒng)國產(chǎn)數(shù)據(jù)庫適合信創(chuàng)的小規(guī)模應(yīng)用第二代第三代傳統(tǒng)國產(chǎn)數(shù)據(jù)庫適合信創(chuàng)的小規(guī)模應(yīng)用開源增強的分布式數(shù)據(jù)庫自研的分布式數(shù)據(jù)庫適合金融企業(yè)互聯(lián)網(wǎng)場景成本高適合互聯(lián)網(wǎng)企業(yè)的新應(yīng)用性能的40%2020年中國信通院：對國內(nèi)分布式事務(wù)數(shù)據(jù)庫產(chǎn)品進(jìn)行了分析，發(fā)現(xiàn)：71.4%的產(chǎn)品是基于PostgreSQL或MySQL二次開發(fā)完成中國人有沒有能力研發(fā)國際一流的基礎(chǔ)軟件?開源底層機制存在缺陷穩(wěn)定可靠MySQL考慮性能采用半同步實現(xiàn)復(fù)制，因此在主機故障時，無法保證數(shù)據(jù)不丟。近期某銀行遇到大壓力下同步復(fù)制，主機擁塞問題。PG追加寫機制，在高頻更新下容易卡頓性能針對大并發(fā)訪問，MySQL行級鎖機制較為受限，表級鎖容易形成熱點。復(fù)雜查詢所依賴于優(yōu)化器能力，也是MySQL的短板。單機容量當(dāng)前單機存儲容量達(dá)到10TB級別已是常態(tài)。MySQL受限于底層Btree組織，單表數(shù)據(jù)量不宜超過千萬級，無法滿足業(yè)務(wù)擴展要求。設(shè)計圖公開的金庫安全風(fēng)險明顯大于未公開的設(shè)計圖公開的金庫安全風(fēng)險明顯大于未公開的：線。Oracle源代碼在其中國辦公室無法訪問。開源差距較大,無法應(yīng)對大壓力挑戰(zhàn)分布式路線的嘗試2硬件采購2日常維護未形成成熟的服務(wù)生態(tài)，需要重新學(xué)習(xí)對日常維護未形成成熟的服務(wù)生態(tài)，需要重新學(xué)習(xí)對應(yīng)產(chǎn)品能力，DBA新增人力成本較高1133應(yīng)用改造分布式改造引入大量適配工作，部分產(chǎn)品不支持存儲過程等能力，改造費用遠(yuǎn)超數(shù)據(jù)庫分布式架構(gòu)并非銀彈分布式架構(gòu)源于互聯(lián)網(wǎng)，而銀行與互聯(lián)網(wǎng)的基礎(chǔ)需求存在一定差異，理清銀行基礎(chǔ)需求再進(jìn)行架構(gòu)設(shè)計是新一代分布式核心的建設(shè)基石核心訴求：承載量核心訴求：承載量核心訴求：穩(wěn)定安全分布式改造成本高,難維護信創(chuàng)的挑戰(zhàn)2027年信創(chuàng)市場規(guī)模約為1.56萬億2021年信創(chuàng)滲透率2027年信創(chuàng)滲透率20222021年信創(chuàng)滲透率2027年信創(chuàng)滲透率2022人員增速2023人員增速2024人員增速行業(yè)人員數(shù)（萬人）黨政40003.00%3.00%2.50%57.01%90%金融4.00%4.00%3.00%29.55%80%電信0.45%0.45%0.40%19.00%80%電力2640.50%0.50%0.45%15.00%75%石油0.50%0.50%0.45%16.00%70%交通0.20%0.20%0.15%18.00%75%航天航空5.00%5.00%4.00%12.00%75%教育0.50%0.50%0.45%10.45%70%4294.00%4.00%3.00%8.00%70%銀行核心系統(tǒng)中,國產(chǎn)數(shù)據(jù)庫的運用比例僅為10%～20%行業(yè)自主化率應(yīng)用場景金融銀行15%證券基金20%金融核心業(yè)務(wù)系統(tǒng)、支付系統(tǒng)、交易系統(tǒng)能源不足15%能源監(jiān)管、調(diào)度、規(guī)劃、運維醫(yī)療不足5%電子病歷、診斷、設(shè)備、數(shù)據(jù)挖掘制造不足5%客戶管理、生產(chǎn)處理、庫存和供應(yīng)鏈第一新聲《2024年中國數(shù)據(jù)庫市場研究報告》各行業(yè)核心替代任重道遠(yuǎn)Oracle50年歷程：15年成為龍頭、35年領(lǐng)跑世界技術(shù)領(lǐng)跑的系統(tǒng)研發(fā)政府引導(dǎo)市場;技術(shù)領(lǐng)跑的系統(tǒng)研發(fā)政府引導(dǎo)市場;(SQL、C/S分離架構(gòu)、細(xì)粒度事務(wù)、可移?2020年Oracle公司在美國政府支持下接受TikTok?2022年美國國防部“聯(lián)合作戰(zhàn)云能力”合同技術(shù)變革的理論先機?支持共享集群1987年成為最大的數(shù)據(jù)庫公司(1989年進(jìn)入中國市場，1997年成為中國電信產(chǎn)業(yè)最大的數(shù)據(jù)庫供應(yīng)商)；主動擁抱AI，2024年10月市值超過4800多億美元，達(dá)歷史新oracle的發(fā)展根基:基于原創(chuàng)理論+自主可控技術(shù)+政府引導(dǎo)市場AI對數(shù)據(jù)庫系統(tǒng)帶來的挑戰(zhàn)混合查詢同時處理結(jié)構(gòu)化和向量數(shù)據(jù)，關(guān)注查詢效率和復(fù)雜性數(shù)據(jù)高維問題AI技術(shù)發(fā)展提高了向量數(shù)據(jù)維度，需應(yīng)對存儲效率和高性能相似度計算挑戰(zhàn)計算可擴展性:應(yīng)對向量數(shù)據(jù)增長的需求?數(shù)據(jù)增長：向量數(shù)據(jù)快速增長，需維持穩(wěn)定性和高性能?性能維護：擴展系統(tǒng)時，確保查詢效率不受影響?資源利用：數(shù)據(jù)增加時，優(yōu)化系統(tǒng)資源利用openA收購Rockset?大模型通過重新訓(xùn)練實現(xiàn)更新知識成本巨大，且信息不可避免存在嚴(yán)重滯后：GPT-4每1次訓(xùn)練需2.5萬張A100卡，耗時百日、花費6300萬美元?OpenAI需要將外部知識庫中信息注入大模型，解決大模型高效實時更新問題崖山的思考與答案崖山的思考與答案面對挑戰(zhàn)現(xiàn)有方法在效率與準(zhǔn)確性之間難以實現(xiàn)平衡?基于語義連接實現(xiàn)多模態(tài)異構(gòu)數(shù)據(jù)的跨模計算?提供向量數(shù)據(jù)管理能力，并支持關(guān)系&向量混合查詢?探索數(shù)據(jù)尺度無關(guān)的確定性查詢方法，兼顧查詢性能和準(zhǔn)確度自研才會自強、自立!追趕、平替、超越自研向量數(shù)據(jù)庫構(gòu)建統(tǒng)一向量數(shù)據(jù)管理能力大模型訓(xùn)練需要海量原始數(shù)據(jù)和向量數(shù)據(jù)分布式技術(shù)路線成本高不可持續(xù)大模型訓(xùn)練需要海量原始數(shù)據(jù)和向量數(shù)據(jù)?擴展性問題：分布式計算需要在不同節(jié)點間實現(xiàn)數(shù)據(jù)和狀態(tài)同步，隨計算效率隨集群增長而下降，無法滿足數(shù)據(jù)持續(xù)增長要求的算力增長?成本高：計算和存儲節(jié)點需求會隨數(shù)據(jù)不斷增長，硬件和維護成本不斷膨脹?增量：自2017年起，AI模型的規(guī)模每半年翻一番，用于模型訓(xùn)練的數(shù)據(jù)量持續(xù)增長?擴展性問題：分布式計算需要在不同節(jié)點間實現(xiàn)數(shù)據(jù)和狀態(tài)同步，隨計算效率隨集群增長而下降，無法滿足數(shù)據(jù)持續(xù)增長要求的算力增長?成本高：計算和存儲節(jié)點需求會隨數(shù)據(jù)不斷增長，硬件和維護成本不斷膨脹開源無法滿足需求基于開源只是臨時方案?當(dāng)前開源向量數(shù)據(jù)庫多采用開源組件“組裝”“拼接”路，開源無法滿足需求基于開源只是臨時方案?當(dāng)前開源向量數(shù)據(jù)庫多采用開源組件“組裝”“拼接”路，線難以完全融合適配，性能受開源組件向量檢索庫、關(guān)系數(shù)據(jù)庫或其他組件限制?基于開源不能完全掌控源代碼，難以快速應(yīng)對多模態(tài)原始數(shù)據(jù)和向量數(shù)據(jù)的統(tǒng)一管理以及高性能查詢的新需求?多模：DeepMind的Flamingo視覺語言模型采用20多億圖文對，270萬視頻-文本對，430萬圖文混合數(shù)據(jù)開源組裝，無法滿足新需求，只能是臨時方案開源和分布式方案存在不足不能滿足新需求深算院原創(chuàng)理論：有界計算、跨模計算、近似計算、混合查詢有界計算有界計算將大數(shù)據(jù)變小實測通信數(shù)據(jù)查詢速度：提高25-10萬倍DQ240min943m78ms928ms80min有界計算傳