阿里云圖數(shù)據(jù)庫GDB概述

1、阿里云圖數(shù)據(jù)庫GDB概述技術(shù)創(chuàng)新，變革未來CONTENT01數(shù)據(jù)價值本質(zhì)阿里云圖數(shù)據(jù)庫GDB典型應(yīng)用場景思考&討論：大數(shù)據(jù)的價值本質(zhì)圖AI圖譜、圖應(yīng)用建模、訓(xùn)練大數(shù)據(jù)的價值在于關(guān)聯(lián)關(guān)系、數(shù)據(jù)規(guī)律的 發(fā)掘及應(yīng)用圖數(shù)據(jù)庫：數(shù)據(jù)關(guān)系的直觀存取 有圖應(yīng)用有未來移動互聯(lián)網(wǎng)大數(shù)據(jù)、數(shù)據(jù)倉庫、數(shù)據(jù)湖數(shù)據(jù)的價值是什么？大數(shù)據(jù)中金礦挖掘，金礦到底是什么？5G、IoT、萬物互聯(lián)，未來商機和機會點是什么？關(guān)聯(lián)關(guān)系 + 數(shù)據(jù)規(guī)律IoT互聯(lián)網(wǎng)PC2010年全球數(shù)據(jù)總量達到2ZB（270字節(jié)），這個數(shù)值還在以每兩年接近翻一番的 速度增長。預(yù)計2020年將達到47ZB，比2010年增長超過20倍，近兩年的數(shù)據(jù)總 量相當(dāng)于人

2、類有史以來所有數(shù)據(jù)量的總和。IDC調(diào)查報告顯示，企業(yè)80%的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，且每年按指數(shù)增長60%。數(shù)據(jù)價值已備受重視，由先前少量孤立數(shù)據(jù)的價值挖掘，轉(zhuǎn)向海量全局?jǐn)?shù)據(jù)的價 值挖掘。涌現(xiàn)分布式數(shù)據(jù)分析、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、數(shù)據(jù)湖等系列技術(shù)什么是圖數(shù)據(jù)庫（Graph Database）id：1 Label：person Name： WeiChen Gender：male Age：22id:3 Label：person Name：Jose Gender： female age：27id：1001 Label: Message content：hello Createdate: 2016/9/20

3、Id:2001Label:knows Createdate:2016/10/21Id:2032Label:knows Createdate:2016/10/25Id:3046Label:has_member joindate:2016/10/15Id:3027Label:has_member joindate:2016/9/25id：100 Label: forum Title：football Createdate: 2016/9/18Id:3133Label:containOf示例（真實應(yīng)用場景可能存在數(shù)億、數(shù)十億、百億關(guān)聯(lián)數(shù)據(jù)）：1、Jose與WeiChen互相認(rèn)識。2、Jose、Wei

4、Chen均為同一個足球俱樂部球員。3、。Graph Database，非圖片數(shù)據(jù)庫，以圖論為基礎(chǔ)針對圖結(jié)構(gòu)設(shè)計的一種數(shù)據(jù)庫。圖結(jié)構(gòu)：Vertex：圓圈代表節(jié)點，表示實體Edge：有方向的線條代表邊，表示實體間的聯(lián)系Property：頂點或者邊都可以有屬性適合高度互連數(shù)據(jù)集（關(guān)聯(lián)關(guān)系）存儲查詢分析六度空間理論圖無處不在：在線購物、社交、交通網(wǎng)絡(luò)、金融保險等方方面面 據(jù)Gartner分析，商界有5個非常有價值的圖：Social Graph（社交圖）Intent Graph（意向圖）Consumption Graph（消費圖）Interest Graph（興趣圖）Mobile Graph（移動圖）引

5、自： /id=2081316圖數(shù)據(jù)庫發(fā)展趨勢大量應(yīng)用驅(qū)動，圖數(shù)據(jù)庫已成為最近幾年增長最快的數(shù)據(jù)庫類別各類產(chǎn)品基于主要應(yīng)用場景在前期形成了細(xì)分 整體呈現(xiàn)一定融合之勢：圖查詢&圖分析Knowledge Graph/RDFOperational Graph DatabasesAnalytic GraphsMulti-Model DatabasesStarDog屬性圖 & RDFRDF Graph（Triple Store）ResourcePropertyStatement不支持實體和關(guān)系擁有屬性Property GraphVerticesUniqueID + set of propertiesEdg

6、esUniqueID + set of properties點和邊都可以有內(nèi)部屬性屬性圖模型更為簡潔、直觀，在工業(yè)界廣泛應(yīng)用工業(yè)界學(xué)術(shù)界id：1Name： WeiChen Gender： male Age：22id：3 Name：Jose Gender： female Age：27Id:2001Createdate: 2016/10/21Id:2032Createdate: 2016/10/25PersonKnowsPersonKnowsWeiCh enPerso nis_aage22malegenderJoseage27malegenderis_aPerso nWei knows josef

7、romto2016/10/21create dateJose knows Weitofrom2016/10/25create date傳統(tǒng)關(guān)系型數(shù)據(jù)庫面臨的挑戰(zhàn)基于傳統(tǒng)關(guān)系數(shù)據(jù)庫，你可能會寫出如下查詢語句：select * from t as t3 where t3.uid in(select friend_uid from t as t2 where t2.uid in (select friend_uid from t as t1 where t1.uid=UserId-xxx) and =James圖數(shù)據(jù)庫中查詢2度好友：g.V(UserId-xxx).repeat(both().sim

8、plePath().times(2).dedup().has(name, James)模型自然&直觀關(guān)聯(lián)查詢快示例：用戶UserId-xxx發(fā)起“查詢自己2度好 友中名字叫James的人”這樣一個查詢請求。多表關(guān)聯(lián)，模型復(fù)雜，查詢效率低分類圖數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫模型圖結(jié)構(gòu)表結(jié)構(gòu)存儲信息結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)高度結(jié)構(gòu)化數(shù)據(jù)2度查詢高效低效3度查詢高效低效/不支持空間占用高中兩度查詢平均耗時三度查詢平均耗時圖數(shù)據(jù)庫圖數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫X10X20傳統(tǒng)關(guān)系型數(shù)據(jù)庫面臨的挑戰(zhàn)業(yè)務(wù)場景若涉及多度關(guān)聯(lián)關(guān)系查詢處 理、復(fù)雜圖算法（如圖遍歷、模式匹配 等），傳統(tǒng)數(shù)據(jù)庫已捉襟見肘，難以滿 足業(yè)務(wù)要求。自

9、建圖數(shù)據(jù)庫面臨的挑戰(zhàn)運維困難，使用門檻高缺乏專業(yè)的圖數(shù)據(jù)庫DBA，出現(xiàn) 問題難定位，出現(xiàn)故障難維護， 內(nèi)核能力演進遲緩性能差、擴展性差難以滿足業(yè)務(wù)實時性要求，及業(yè) 務(wù)日益增長要求可靠性低開源版本通常無高可用保障，易 引發(fā)業(yè)務(wù)中斷，難以滿足生產(chǎn)系 統(tǒng)可靠性要求CONTENT01數(shù)據(jù)價值本質(zhì)阿里云圖數(shù)據(jù)庫GDB典型應(yīng)用場景圖數(shù)據(jù)庫GDB的發(fā)展歷程Tair Service演進Tair 1.0 key-valueTair 2.0 Multi-Model子系統(tǒng)孵化圖數(shù)據(jù)庫GDBkey-Value 極致穩(wěn)定 超強吞吐能力多樣化 持久化專注解決高度數(shù)據(jù)關(guān)聯(lián)場景系統(tǒng)架構(gòu)支持屬性圖兼容Gremlin和Cyphe

10、r兩大業(yè)界主流語法自研OLTP圖數(shù)據(jù)庫引擎查詢優(yōu)化，并行執(zhí)行支持ACID事務(wù)自動索引HTAP管理控制高效導(dǎo)入數(shù)據(jù)同步File System LayerMgnt Service & ToolsGDB ServerConnection LayerAuthentication、Connection Control、Gremlin/Cypher ProtocolImport ServiceSDK for Java、Python、HTTP RESTful、.NETReplica ServiceLoad ManagerLoad RunnerScript EngineTraversal OptimizerE

11、xecution EngineGraph StructureTransactionGraph CacheStorage Engine圖數(shù)據(jù)庫GDB四大核心能力兼容主流圖查詢語言支持屬性圖，兼容Gremlin和Cypher兩大 主流查詢語言高性能、低成本相比自建Neo4j，成本節(jié)省40%；大規(guī)模 數(shù)據(jù)量查詢性能優(yōu)于Neo4j；即將支持?jǐn)U 展只讀實例，進一步提升讀性能高可用實例高可用，節(jié)點故障自動切換，保障業(yè) 務(wù)連續(xù)性易用、易運維支持ACID事務(wù)；自動索引、Schema- Free；內(nèi)置常用圖算法；支持Go、Java、 Python等客戶端；提供多種數(shù)據(jù)導(dǎo)入功能；提供備份恢復(fù)，監(jiān)控告警等運維功能阿

12、里云提供兼容Gremlin、Cypher兩大主流查詢語言，高性能、高可用、低成 本、易用、免運維的圖數(shù)據(jù)庫產(chǎn)品。Cyper兼容已發(fā)布1.0版本，邀測中，即將全 線發(fā)布。兼容Gremlin及Cypher兩大主流圖查詢語言O(shè)penCypher最早流行的類SQL圖查詢語言Neo4j主力實現(xiàn)應(yīng)用廣泛SparQL用于RDF上的描述語言W3C的標(biāo)準(zhǔn)Gremlin基于屬性圖多個公有云廠商支持的圖查詢語言應(yīng)用廣泛OpenCypherGremlin阿里云GDBCyper兼容邀測中，即將全線發(fā)布 敬請期待用戶基于Gremlin或Cypher語法開發(fā)的應(yīng)用， 均可平滑遷移至阿里云圖數(shù)據(jù)庫GDB。計算層存儲層主實例計

13、算層存儲層備實例同步云盤云盤ALBAPPAPPAPP讀寫讀寫計算層存儲層主實例計算層存儲層備實例同步共享存儲ALBAPPAPPAPPAPPAPP計算層存儲層只讀實例計算層存儲層只讀實例同步讀寫只讀讀寫一主一備一寫多讀數(shù)據(jù)同步binlog云盤共享存儲高可用節(jié)點故障自動切換演進高可用支持ACID事務(wù)通過MVCC機制和Fine-Grained Lock支持Read-Committed級別的ACID事務(wù)，降低應(yīng)用開發(fā)復(fù)雜度AtomicConsistency Isolation DurabilityGraph TransactionGraph APIVertexCreateEdgeCreateVerte

14、xSetPropEdgeSetPropCommit Per Transaction TxStateLocal Lock TrackerPer Transaction TxStateLocal Lock TrackerPer Transaction TxStateLocal Lock TrackerLock LayerCommit ProcessGraph Binary LogGraph Store Engine自動索引&Schema-FreeV0age=18name=Tomgender=maleV1V2age=19name=Jerrygender=maleage=19name=Catgende

15、r=maleUserUserUsername：gender：數(shù)據(jù)索引age：自動索引和Schema-free更易于用戶開發(fā)，節(jié)省大量DBA工作內(nèi)置常用圖算法Gremlin OLAP ProviderGremlin標(biāo)準(zhǔn)遵從HTAP（與Gremlin OLTP并存，一份數(shù)據(jù)）適合大數(shù)據(jù)集的復(fù)雜分析查詢和處理內(nèi)置常見圖算法g = graph.traversal()g = graph.traversal().withComputer()/ OLTP/ OLAPCentralityPath findingCommunity detectionPageRankBetweenness CentralityC

16、loseness CentralityMinimum Weight Spanning TreeShortest PathSingle Source Shortest pathAll pairs shortest pathRandom WalkConnected ComponentsTriangle CountingHist。Driver/SDK支持支持開源TinkerPop 3.3.3（及以上）版本Driver，官方提供Java，Python，Go，.Net, REST兼容性保證 支持Gremlin Console數(shù)據(jù)導(dǎo)入OSS（csv）clientsource：xxx ramRoleArm：

17、xxx231GDBNeo4jMysqlODPSDataXDataWorksMysqlODPSNeo4j多種數(shù)據(jù)源：Neo4j，Mysql，多種數(shù)據(jù)通道：OSS，DataWorksGDB備份恢復(fù)可視化CONTENT01數(shù)據(jù)價值本質(zhì)阿里云圖數(shù)據(jù)庫GDB典型應(yīng)用場景圖數(shù)據(jù)庫典型場景社交網(wǎng)絡(luò)圖數(shù)據(jù)庫可以輕松應(yīng)對海量高度互連社交數(shù)據(jù)的實時 存儲和高效查詢，幫助您快速構(gòu)建復(fù)雜的社交網(wǎng)絡(luò)系 統(tǒng)。例如，在一個典型的社交網(wǎng)絡(luò)中，常常會存在“誰 認(rèn)識誰，誰上過什么學(xué)校，誰常住什么地方，誰喜歡 什么餐館之類的查詢”，傳統(tǒng)關(guān)系型數(shù)據(jù)庫對于超過3 度的查詢往往會很低效甚至無法支持，但圖數(shù)據(jù)庫從 基因?qū)用嫣峁┝私鉀Q方案，

18、輕松應(yīng)對社交網(wǎng)絡(luò)的各種 復(fù)雜存儲和查詢場景。欺詐檢測在金融領(lǐng)域，圖數(shù)據(jù)庫經(jīng)常用于欺詐檢測場景。例如，通過貸款、分期消費者的聯(lián)系人（或者聯(lián)系人的聯(lián) 系人）信用信息，對用戶進行信用評分，如果評分較 低，則拒絕貸款或者提升利率；通過申請人的個人信 息（包括電話號碼、家庭住址），判斷申請人信息是 否屬實。通常，欺詐者是通過“黑市”購買的用戶信息 然后拼湊出的“個人信息”，并且這些信息會被反復(fù)使 用，使用圖數(shù)據(jù)庫，可以快速的發(fā)現(xiàn)申請人提供的個 人信息與現(xiàn)有的用戶信息的關(guān)系。圖數(shù)據(jù)庫非常適合實時推薦場景。您可以將用戶的購 買行為，位置，好友關(guān)系，收藏等數(shù)據(jù)實時的存儲在 圖數(shù)據(jù)庫中，然后利用圖數(shù)據(jù)庫能對高度

19、互連數(shù)據(jù)提 供高效查詢的特點，通過各種維度的快速查詢實時進 行多維度個性化推薦。例如，在某APP中，通過用戶 位置及以前的購買行為信息，當(dāng)某用戶A到達某商場B，APP可以向用戶實時推薦附近的門店及商品等信息推薦引擎知識圖譜網(wǎng)絡(luò)/IT運營圖數(shù)據(jù)庫可以幫助您快速的構(gòu)建知識圖譜。您可以將圖 譜數(shù)據(jù)存儲在圖數(shù)據(jù)庫中，既可以通過外部輸入實時更 新，也可以對圖數(shù)據(jù)庫內(nèi)部圖譜信息進行分析來不斷發(fā) 現(xiàn)并完善圖譜數(shù)據(jù)。比如, 基于圖數(shù)據(jù)庫，你可以快速 實現(xiàn)像針對足球明星這樣的知識圖譜應(yīng)用, 幫助用戶瀏 覽，發(fā)現(xiàn)感興趣的信息。圖數(shù)據(jù)庫非常適合網(wǎng)絡(luò)/IT運營相關(guān)場景。比如，您可以 將路由器，交換機，防火墻，服務(wù)器等

20、各種網(wǎng)絡(luò)設(shè)備和 終端及其拓?fù)湫畔⒋鎯υ趫D數(shù)據(jù)庫中，當(dāng)某服務(wù)器或終 端遭受惡意攻擊或者受到感染時，你可以通過圖數(shù)據(jù)庫 快速分析并找到傳播路徑，然后進行相關(guān)追蹤及處理。圖數(shù)據(jù)庫典型場景釘釘Work Graph業(yè)務(wù)價值圖數(shù)據(jù)庫GDB作為底層基礎(chǔ)設(shè)施為釘釘提供了百億量級的關(guān)系存儲和查詢能力，管理人與人、人與 企業(yè)、企業(yè)與企業(yè)之間的關(guān)聯(lián)關(guān)系，為釘釘?shù)耐笞R別、用戶親密度計算、高管預(yù)測和同事關(guān)系預(yù)測等功能提供了圖數(shù)據(jù)庫的核心能力。推薦加人：拉新促活：盒馬鮮生知識圖譜與商品推薦業(yè)務(wù)價值圖數(shù)據(jù)庫GDB支撐盒馬鮮生構(gòu)建基于商品和菜譜之間關(guān)聯(lián)關(guān)系的私域知識圖譜，提供了提供菜譜 推薦、人群推薦、門店推薦等功能。使用

21、范例欺詐檢測場景/document_detail/112470.html?spm=a2c4g.11186623.6.573.42756c93byHJXw知識圖譜場景/document_detail/112895.html?spm=a2c4g.11186623.6.574.64d27aacgIFciq網(wǎng)絡(luò)運維場景/document_detail/112472.html?spm=a2c4g.11186623.6.575.f0d26ba94k42AH推薦場景/document_detail/112469.html?spm=a2c4g.11186623.6.576.4b1b9193aImarG社交應(yīng)用

22、場景/document_detail/112468.html?spm=a2c4g.11186623.6.577.365dec05p6AwH9開發(fā)者福利，重大優(yōu)惠https:/product/gdb社區(qū)技術(shù)愛好者、學(xué)習(xí)人員、新用戶試用：9.9元包三月 公測用戶：首次續(xù)費6折，不限規(guī)格包年85折：不限用戶、不限規(guī)格、不限數(shù)量圖數(shù)據(jù)庫GDB社區(qū)群Gremlin實踐moviegenreuseroccupationLabel:genre Name:string(Animation |Western |Drama | War | Adventure | Sci-Fi | )Label: movie Uid

23、: string year: int Name: stringLabel: occupationName: string(retired | sales | writer| scientist | student | programmer| artist | )genreratedoccupationLabel: user uid: stringGender: string(M | F) zipcode: stringage: int Name: stringLabel: rated Stars: int Time: long查看頂點總數(shù)g.V().count()查看邊總數(shù)g.E().coun

24、t()查看所有頂點Labelsg.V().label().dedup()查看所有邊Labelsg.E().label().dedup()數(shù)據(jù)集里一共有多少部電影g.V().hasLabel(movie).count()數(shù)據(jù)集里一共有多少用戶g.V().hasLabel(user).count()數(shù)據(jù)集里一共有多少評論g.E().hasLabel(rated).count()查看uid為u1的用戶詳細(xì)信息g.V().has(user,uid, u1).valueMap()查看uid為u1的用戶是什么職業(yè)g.V().has(user,uid, u1).out(occupation).valueMa

25、p(name)查看uid為u1的用戶投票了哪些1998年及以后出產(chǎn)的電影g.V().has(user,uid, u1).out(rated).has(year, gte(1998).valueMap()1990年都出產(chǎn)了哪些科幻電影g.V().has(genre, name,Sci-Fi).in(genre).has(movie,year, 1990).valueMap()有多少人參與了電影Toy Story 2的評分g.V().has(movie,name,Toy Story 2).in(rated).count()有多少程序員參與了電影Toy Story 2的評分g.V().has(mov

26、ie,name,Toy Story 2).in(rated).filter(out(occupation). has(name,programmer).count()找出10個參與過電影Toy Story 2評分的程序員g.V().has(occupation,name,programmer).in(occupation).filter(out(rated). has(name,Toy Story 2).limit(10).valueMap()找出參與過Toy Story 2評分的最小年齡程序員g.V().has(occupation,name,programmer).in(occupatio

27、n).filter(out(rated).has(name,Toy Story 2).order().by(age).limit(1).valueMap()Gremlin實踐moviegenreuseroccupationLabel:genreName:string(Animation |Western | Drama | War | Adventure | Sci-Fi | )Label: movie Uid: string year: int Name: stringLabel: occupationName: string(retired | sales | writer| scient

28、ist | student | programmer| artist | )genreratedoccupationLabel: user uid: stringGender: string(M | F) zipcode: stringage: int Name: stringLabel: rated Stars: int Time: long每個分類的電影分別有多少部g.withComputer().V().hasLabel(movie).out(genre).groupCount().by(name)各個職業(yè)的用戶分別有多少g.withComputer().V().hasLabel(use

29、r).out(occupation).groupCount().by(name)什么人喜歡看科幻電影g.withComputer().V().has(genre, name, Sci-Fi).in(genre).in(rated).out(occupation).groupCount().by(name）女生喜歡看什么電影g.withComputer().V().has(user,gender, F).out(rated).out(genre).groupCount().by(name)3040歲的用戶喜歡看什么電影g.withComputer().V().has(user,age, within(30.40).out(rated).out(genre).groupCount().by(name)用戶平均評分最高的10部科幻電影是g.withComputer().V().has(genre, name,