AI 時代的多模數(shù)據(jù)庫：ArcNeural

ArcNeural—AI時代的多模數(shù)據(jù)庫陳輝楓清科技(Fabarta)技術(shù)專家 01Fabarta與ArcNeural概覽02ArcNeural架構(gòu)與實(shí)現(xiàn)03ArcNeural實(shí)踐與應(yīng)用04總結(jié)與展望：AI時代的基礎(chǔ)設(shè)施Chapter01Fabarta與ArcNeural概覽庫、AI等領(lǐng)域有深刻理解。團(tuán)隊(duì)創(chuàng)始人曾擔(dān)任大型跨國公司中國研究院院長和本土互聯(lián)網(wǎng)巨頭大數(shù)據(jù)與人工智能技術(shù)、產(chǎn)品和商業(yè)化負(fù)責(zé)人，帶領(lǐng)400+團(tuán)隊(duì)，實(shí)現(xiàn)全球數(shù)億美金的軟件營收，具有將前沿技術(shù)與商業(yè)成功結(jié)合的卓越能力。則分別指代數(shù)據(jù)與AI。產(chǎn)品推出后獲得多個獎項(xiàng)及客戶好訊云原生數(shù)據(jù)庫CynosDB（TDSQL-C）的研發(fā)數(shù)據(jù)技術(shù)演進(jìn)數(shù)據(jù)收集期大數(shù)據(jù)時代數(shù)據(jù)收集期大數(shù)據(jù)時代智能時代數(shù)據(jù)分析期企業(yè)智能中的LargeModel與KnowledgeFinetuneInteractivePretrainFinetuneInteractiveUserEnterpiseUserEnterpiseDataPrivatePrivateDataPublicData....構(gòu)建AI時代的基礎(chǔ)設(shè)施——Fabarta“一體兩翼”產(chǎn)品矩陣應(yīng)用應(yīng)用側(cè)…3322建立企業(yè)內(nèi)部高質(zhì)量數(shù)據(jù)與大模型之間的連接，通過低代碼化的方式來快速構(gòu)建場景化AI能力。ArcFabric多模態(tài)數(shù)據(jù)編織平臺ArcPilot企業(yè)智能分析平臺程中積累下來的大量多模態(tài)數(shù)據(jù)資產(chǎn)變得FabartaArcNeural多模態(tài)智能引擎4ReadyForAI。企業(yè)FabartaArcNeural多模態(tài)智能引擎4模型微調(diào)GNN圖計(jì)算式關(guān)系模型微調(diào)GNN圖計(jì)算一方面一方面，我們認(rèn)為“符號”+“概率”是實(shí)現(xiàn)可解釋人工智能的關(guān)鍵，所以我們從圖和向量入手。另一方面，要為人工智能的算法提供長效記憶體，把我們真正核心的數(shù)據(jù)使用前，使用中和使用后的數(shù)據(jù)真正能夠存儲和記憶下來，沉淀企業(yè)專有的、可重復(fù)使用的數(shù)據(jù)。征抽象都需要融合在統(tǒng)一的數(shù)據(jù)存儲當(dāng)中，憑此繪制一張真正的架構(gòu)上存算分離、功能上存查算一體：數(shù)據(jù)統(tǒng)一檢索、資源統(tǒng)一調(diào)度、模型統(tǒng)架構(gòu)上存算分離、功能上存查算一體：數(shù)據(jù)統(tǒng)一檢索、資源統(tǒng)一調(diào)度、模型統(tǒng)導(dǎo)航地圖，這樣才能真正把企業(yè)數(shù)據(jù)資產(chǎn)為己所用，為A Chapter02ArcNeural架構(gòu)與實(shí)現(xiàn)范式轉(zhuǎn)移：從存儲&計(jì)算到記憶與推理@符號與概率ArcNerual大數(shù)據(jù)疊加數(shù)據(jù)耦合范式轉(zhuǎn)移：從存儲&計(jì)算到記憶與推理@符號與概率ArcNerual大數(shù)據(jù)疊加數(shù)據(jù)耦合數(shù)據(jù)的不規(guī)則與多模態(tài)實(shí)時更新原因及難點(diǎn)以圖為基礎(chǔ)來構(gòu)建多模態(tài)智能引擎的GraphHTAP多模引擎云原生與多GraphHTAP多模引擎云原生與多樣化存儲ArcNeuralTPGroupArcNeuralAPGroupServerlessResourceManagerAPNodeAnalyticsArcNeuralAPGroupServerlessResourceManagerAPNodeAnalyticsAlgorithmsLearningAlgorithmsSubDatafragmentAPNodeAPNodeAPNodeAPNodeJob)AsyncCheckpointArcGraphEngineTopoCache?MemoryAsyncCheckpointArcGraphEngineTopoCache?Memorymap?Partitionlocate?DeltaupdatePropertiesCache?LRUevict?Indexbuild?DeltaupdateArcVectorEngineHNSWBuilderVectorIndexesStorageGraphIDGraphIDGraphIDGraphIDWALRaftLogLogLeaderLogLogLogLogSessionSessionManagementTransactionPipelineStatMachineResultlCache OP3Worker1PipelineWorker2PipelineCoordStatMachinePipelinePipelinePipeline OP1 OP2 OP2 OP3QueueQueueOP1CoordinatorMetaMetaStorageFollowerQueryCall(APEngineMemEngineFollowerQueryCall(APEngineMemEngineApplyApplyRaftRaftLogTPPartitionSecondaryPagePageLoad?ShareRead/SingleWrite?CloudNativeInfra?HighThroughput/LowcostPagePageLoadPagePagePagePagePagePagePagePage多模態(tài)智能引擎ArcNeural—存儲屬性緩存?LRU置換?屬性索引屬性緩存?LRU置換?屬性索引?批量構(gòu)建?復(fù)用圖索引臟頁管理?DeltaUpdate?CPUCache優(yōu)化?無鎖并發(fā)事務(wù)管理?MVCC?分布式事務(wù)TOPO索引?常駐內(nèi)存?結(jié)構(gòu)緊湊排列?反向邊索引LogasDatabase?Leader選舉?LogasDatabase?Leader選舉?多副本高可靠本地存儲?LSN管理存儲適配器：抽象多種存儲模式數(shù)據(jù)訪問接口原圖存儲?LogBuffer?GroupCommit本地存儲?LSN管理存儲適配器：抽象多種存儲模式數(shù)據(jù)訪問接口原圖存儲模式2：敏捷部署本地磁盤?Raft模式2：敏捷部署本地磁盤?Raft高可用/單機(jī)本地?多副本可讀擴(kuò)展模式3：分布式存儲池對象存儲共享塊存儲遠(yuǎn)端存儲?存儲Serverless?低成本高性能模式1：KV存儲Page共享存儲?圖轉(zhuǎn)換為KVPage存儲?可適配主流分布式KV存儲引擎?KV存儲引擎保障數(shù)據(jù)可靠性,高性能,高性能多模態(tài)智能引擎ArcNeural—GraphHTAPQuery：MATCH(a:Query：MATCH(a:Person)-[:likes]->(b:Person)WHEREpany="Fabarta"Callpagerank((n)-[e]->(b),0.85,10)YIELD*returnid,result;AP：離線超復(fù)雜計(jì)算Data：CSV,TXT,HDFSetc.Query:Callgraph_matching(graph,edge_csv_path,vertex_csv_path)YIELD*returnsub_graph_listTP：低延時高并發(fā)Create：CREATE(:Person{name:"Alice",company:"Fabarta"})CREATE(alice)-[:likes]->(bob)Query：MATCH(a:Person)-[:likes]->(b:Person)WHEREpany="Fabarta"RETURNa,b;EdgewithCSC&CSRPartitionEdgewithCSC&CSRPartitionRebalancerGraphGraphMemEngineforGraphComputingTP引擎AP執(zhí)行器TP引擎AP執(zhí)行器TP分布式并行執(zhí)行器MemEngineArcGraphAP引擎VertexwithRe-arrangedVertexwithRe-arrangedIDMessagewithremotevertex-idindex子圖：內(nèi)存中間結(jié)果TP查詢計(jì)劃HTAP查詢計(jì)劃TP查詢計(jì)劃HTAP查詢計(jì)劃算法庫算法庫WorkerComputingEngineWorkerComputingEngineWorkerComputingEngineWorkerComputingEngineComputingEngineWorkerWorkerWorkerWorkerComputingEngineComputingEngineComputingEngineAP引擎AP引擎?高性能圖計(jì)算內(nèi)存引擎Assemble?統(tǒng)一CypherAssembleMasterComputingEngineMasterComputingEngine多模態(tài)智能引擎ArcNeural—VectorColumnTypeCREATEVERTEXIFNOTCREATEVERTEXIFNOTEXISTSMovie(PRIMARYKEYvidINT(64),infoJSON,contentVECTOR(1536),VECTORINDEXv_idx(content)HNSW)ArcHNSWVectorIndexSIMD距離計(jì)算加速：4倍性能提速支持屬性Filter：支持字段屬性過濾TopK數(shù)據(jù)庫級管理：完善的CRUD與ACID多模態(tài)數(shù)據(jù)查詢—OneQueryWHEREm1.embedding<->“[0.ArcNeural2.1版本核心特性VectorJsonTableBlob多模態(tài)GraphVectorJsonTableBlob多模態(tài)Graph高效內(nèi)存引擎多跳并行化短跳高效內(nèi)存引擎多跳并行化短跳高吞吐GPU硬件加速Online企業(yè)級數(shù)據(jù)管理ACID分布式多副本多地分布式多副本多地多中心模塊化企業(yè)級交付架構(gòu)彈性云原生Rust面向合作企業(yè)開源Rust面向合作企業(yè)開源全面自主可控國產(chǎn)化2023.9v2.1PoCBeta版發(fā)布2023.12v2.1正式版ReleaseChapter03ArcNeural實(shí)踐與應(yīng)用基于Fabarta產(chǎn)品矩陣加速大模型時代AI新范式落地問答問答信息抽取信息抽取文本分類文本分類實(shí)踐：企業(yè)智能IT—Arc42大模型（GLM2、ChatGPTetc.）ArcPilotQuestionAnswer企業(yè)私域數(shù)據(jù)OrganizationArcNeuralArcGraph顯式關(guān)系A(chǔ)rcPilotQuestionAnswer企業(yè)私域數(shù)據(jù)OrganizationArcNeuralArcGraph顯式關(guān)系A(chǔ)rcVector查詢計(jì)劃生成ArcFabric知識提取數(shù)據(jù)血緣數(shù)據(jù)集成元數(shù)據(jù)管理數(shù)據(jù)消費(fèi)：智能洞察Step2：檢索“存儲層”相關(guān)性文檔Step3：檢索“存儲層”相關(guān)性代碼Step4：查找“文檔”/“代碼”的作者挖掘ArcNeural增強(qiáng)Step1：抓取企業(yè)信息元數(shù)據(jù)建模入圖Step2：文本、圖片建立向量索引Step3：利用LM語義理解，圖譜信息關(guān)系補(bǔ)全Chapter04總結(jié)與展望：AI時代的基礎(chǔ)設(shè)施企業(yè)從數(shù)字化到智能化所需要的基礎(chǔ)設(shè)施AIReadyAIReadyforApps：模型+數(shù)據(jù)+場景低代碼應(yīng)用構(gòu)建企業(yè)知識中臺企業(yè)決策智能模型工廠LLMOpsDataReadyforAI：數(shù)據(jù)治理和資產(chǎn)服務(wù)智能化數(shù)據(jù)資產(chǎn)盤點(diǎn)理智能化數(shù)據(jù)編織智能化數(shù)據(jù)治InfrastructureReadyforAI：存算&記憶推理的數(shù)據(jù)基礎(chǔ)設(shè)施解決多模態(tài)數(shù)據(jù)存儲計(jì)算&面向大模型時代的記憶和推理企業(yè)智能應(yīng)用語義理解語義理解自然語言知識更新IntelligenceMemo