?向?成式AI的向量數(shù)據(jù)庫：架構(gòu)性能與未來趨勢

?向?成式AI的向量數(shù)據(jù)庫：架構(gòu)，性能與未來趨勢向量數(shù)據(jù)庫背景介紹Milvus整體架構(gòu)設(shè)計性能的關(guān)鍵-索引?向AI持續(xù)進化01向量數(shù)據(jù)庫背景介紹什么是向量數(shù)據(jù)什么是向量檢索找到離查詢向量最近的 條向量（TopK）怎么計算距離取決于模型定義使?怎樣的

Metric，常?的有

L2，IP

和Cosine

等什么是向量數(shù)據(jù)庫向量數(shù)據(jù)庫是?種專為存儲和查詢?維度向量數(shù)據(jù)?優(yōu)化的數(shù)據(jù)庫系統(tǒng)為什么需要向量數(shù)據(jù)庫AI

1.0時代，向量數(shù)據(jù)庫已經(jīng)被?泛應(yīng)?于機器學(xué)習(xí)應(yīng)?中，包括推薦系統(tǒng)，搜索，?控，安防等系統(tǒng)中?，F(xiàn)在仍然是重要的使?場景為什么需要向量數(shù)據(jù)庫RetrievalAugmentedGeneration(RAG)，向量數(shù)據(jù)庫作為存儲記憶體保存領(lǐng)域相關(guān)的知識，?于查找query相關(guān)的數(shù)據(jù)LLM從增強的提示詞中獲得為?戶量身定制的答案，增強了結(jié)果的相關(guān)性什么是?個好的向量數(shù)據(jù)庫性能擴展性易?性功能可觀測可運維?態(tài)集成故障恢復(fù)安全…您公司的logo02Milvus整體架構(gòu)設(shè)計云原?的分布式向量數(shù)據(jù)庫Proxy：接?層，負責(zé)請求編譯，檢查和路由Query：負責(zé)數(shù)據(jù)/索引的加載和查詢Data：負責(zé)數(shù)據(jù)批流轉(zhuǎn)化Index：索引構(gòu)建云原?的分布式向量數(shù)據(jù)庫強?的隔離性，建索引不爭搶查詢資源良好的擴展能?，?持百億級別的向量更加靈活的流式數(shù)據(jù)處理能?和增量更新/刪除能?實時性和性能的trade

offSegment是milvus查詢的最?單位growing

segment負責(zé)流式數(shù)據(jù)的查詢，保證數(shù)據(jù)的實時可?，性能差sealed

segment負責(zé)持久化數(shù)據(jù)的查詢。數(shù)據(jù)構(gòu)建過索引，性能好通過indexNode構(gòu)建索引替換queryNode上的數(shù)據(jù)加速查詢異步compaction把?些?segment合成?segment，加速查詢合并delete數(shù)據(jù)，做物理刪除，對向量檢索更加友好批量寫??持bulk

insert功能，?戶提供json/csv/parquet等格式的?件，跳過消息隊列，直接插?到對象存儲?持Spark

connector，外部數(shù)據(jù)源可以通過Spark

ETL導(dǎo)?到Milvus全局索引根據(jù)不同租戶做劃分數(shù)據(jù)根據(jù)標量過濾條件劃分數(shù)據(jù)根據(jù)向量空間分布劃分數(shù)據(jù)Zilliz

cloud：向量數(shù)據(jù)庫即服務(wù)Zilliz

Cloud是Zilliz基于開源向量數(shù)據(jù)庫milvus打造的全托管企業(yè)級向量檢索云服務(wù)分為Serverless，SaaS和BYOC三個版本，?向不同需求和不同部署環(huán)境?前已經(jīng)登陸AWS，GCP，Azure，阿?云、騰訊云等您公司的logo03性能的關(guān)鍵-索引主流向量索引樹索引：維度災(zāi)難，性能差哈希：精確有限量化：精度有限，但?哈希更為常?圖索引：占?資源?，精度和性能優(yōu)異哈希量化圖樹knowhere引擎Knowhere作為milvus的核?向量引擎，集成了多種向量算法，供?戶?由選擇對外統(tǒng)?接?，?便集成新索引FLAT暴搜：效率很低，但100%準確！數(shù)據(jù)量少的時候可能優(yōu)于索引的性能IVF對數(shù)據(jù)點做聚類，分成若?個buckets查詢時找到query最近的nprobe個buckets，避免搜索全量數(shù)據(jù)Product

quantization將向量分成m段，每段?向量通過聚類編碼成聚類中?id，有效壓縮向量的內(nèi)存占?查詢時預(yù)計算query向量和每段聚類中?的距離，把距離計算轉(zhuǎn)化成查表操作HNSW?前最為?泛使?的圖索引建索引的原則：近鄰的近鄰?概率是近鄰，同時引??些?邊防?陷?局部最優(yōu)層次化的結(jié)構(gòu)快速定位，貪?式搜索找到最終結(jié)果DISKANNDisk中保存圖索引，并按照向量本身和鄰居id?起存的?式增強locality。每次IO同時得到原始向量計算精確距離，同時得到鄰居id，?到內(nèi)存中的PQ編碼計算近似距離?于導(dǎo)航DiskANN可以實現(xiàn)較低的內(nèi)存占?，達到還不錯的性能和?精度GPU

cagra和NVIDIA團隊合作，將gpu

cagra索引集成到knowhere，充分利?gpu的并?計算能?，加速索引構(gòu)建和查詢?nèi)绾芜x擇最合適的索引希望降低cost考慮采?disk的?案，量化的?案。希望提?accuracy則不去做激進的量化策略，要求很?則使?FLAT。希望提?performance，采?內(nèi)存圖索引/gpu索引?案不可能三?：必須在限制的條件中進?篩選最合適的策略Zilliz

cloud商業(yè)版索引引擎-cardinal更加?程化的代碼更智能的參數(shù)學(xué)習(xí)更加優(yōu)異的數(shù)據(jù)存儲布局更加極致的SIMD優(yōu)化您公司的logo04?向AI持續(xù)進化Filter

search帶標量過濾條件的向量檢索已經(jīng)成為?個基本需求milvus?持多種scalar

index加速標量過濾的效率。同時?持向量側(cè)通過標量分布構(gòu)建融合索引加速過濾Sparse

vector不?于dense

vector!

與dense

vector跟更加關(guān)注語義不同，sparse

vector提取了關(guān)鍵詞的信息，通過關(guān)鍵詞匹配找相關(guān)的結(jié)果，可解釋性強在out

of

domain的數(shù)據(jù)上sparse

vector更有優(yōu)勢Hybrid

search?持多向量多模態(tài)存儲和檢索，可以是多個densevector，也可以是densevector和sparse

vector的組合可以從更多信息的維度進?召回和rerankGrouping

search僅向量維度的召回不?定滿??戶的需求。在?本檢索時，?個向量代表?個chunk，缺少全?視?可以通過doc維度做聚合搜索更加易