MongoDB新功能及Atlas云服務(wù)概覽

1、MongoDB 4.4新功能及Atlas云服務(wù)概覽技術(shù)創(chuàng)新，變革未來MongoDB 4.4 新功能2萬客戶1億下載文檔模型分布式系統(tǒng)隨處運行現(xiàn)代分析面臨的挑戰(zhàn)不斷增長的數(shù)據(jù)量和數(shù) 據(jù)類型獲得洞見的時效性成本和復(fù)雜性將分析引入事務(wù)性數(shù)據(jù)庫，提升行業(yè)洞察力，減少數(shù)據(jù)重復(fù)和脆 弱復(fù)雜的 ETLMongoDB 工作負(fù)載隔離11客戶分析主節(jié)點從節(jié)點從節(jié)點從節(jié)點分析節(jié)點事務(wù)性應(yīng)用程序從節(jié)點分析節(jié)點MongoDB 豐富的查詢語言和分布式架構(gòu)， 允許同一群集同時進(jìn)行事務(wù)性操作和分析作 業(yè)，并避免資源競爭MongoDB 的演化史線性化(Linearizable)讀取 集群內(nèi)壓縮(Intra-cluster co

2、mpression)只讀視圖(Read only views)日志編輯(Redaction) 圖關(guān)系(Graph)處理 Decimal 數(shù)據(jù)類型 排序規(guī)則(Collations) 多面導(dǎo)航(Faceted Navigation)聚合 +ARM、Power、zSeries BI 和 Spark 連接器 + Compass +LDAP 授權(quán) 加密備份3.43.6變更流(Change Streams)可重試寫入(Retryable Writes)豐富的數(shù)組更新因果一致性(Causal Consistency)一致的分片(Sharded)讀取模式驗證(Schema Validation)端到端壓縮IP

3、 白名單默認(rèn)綁定至本地主機 會話WiredTiger 1m+ 集合$lookup 表達(dá)式R 驅(qū)動Atlas 跨區(qū)域復(fù)制(Cross Region Replication)Atlas 自動存儲擴展(Auto StorageScaling)4.0副本集事務(wù)(Replica Set Transactions)Atlas 全球集群(Global Clusters) Atlas HIPAAAtlas LDAPAtlas 審計(Audit)Engine)Atlas 備份快照(Snapshots) 類型轉(zhuǎn)換分片遷移提速 40%快照讀取(Snapshot Reads)非阻塞秒讀(Non-Blocking Se

4、c. Reads)SHA-2 和 TLS 1.1+Compass 聚合管道生成器Compass 導(dǎo)出到代碼 免費監(jiān)控云服務(wù)Ops Manager K8s Beta MongoDB Stitch GA分布式事務(wù)(DistributedTransactions)可變分片鍵值(Mutable Shard Key Values)Atlas 數(shù)據(jù)湖（測試版） Atlas 自動擴展（測試版） Atlas 搜 索 （ 測 試 版 ） Atlas 服務(wù)代理和 K8s字段級加密(Field LevelAtlas 儲存引擎加密(Enc. Storage Encryption)多證書頒發(fā)機構(gòu)更豐富的更新操作 Apa

5、che Kafka 連接器 MongoDB Charts GA可重試讀寫(Retryable Reads & Writes)新索引構(gòu)建stepDown加快 10 倍存儲節(jié)點監(jiān)測(Storage Node Watchdog)Zstandard 壓縮聯(lián)合(Union)自定義聚合表達(dá)式(Custom Agg Expressions)可優(yōu)化的分片鍵(Refinable ShardKeys)組合哈希分片鍵(Compound Hashed Shard Keys)對沖讀(Hedged Reads)全局 PIT 讀(Global PIT Reads)鏡像讀(Mirrored Reads)大型事務(wù)(Large

6、Transactions) 可恢復(fù)的初始化同步(ResumableInitial Sync)基于時間的 Oplog 保留 連接監(jiān)控/池化(Pooling)流式拓?fù)涓?Streamed TopologyChanges)并行(Simultaneous)索引創(chuàng)建 隱藏索引(Hidden Indexes)流復(fù)制(Streaming Replication)全局讀/寫關(guān)注(Global Read/Write物化視圖(Materialized Views) Concerns)通配符索引(Wildcard Indexes) Rust 和 Swift 驅(qū)動 GATLS 1.3 和客戶端快速認(rèn)證 OCSP 裝

7、 訂 (Stapling) Kerberos 工具Atlas 在線歸檔(Online Archive)自動伸縮(Auto-Scaling) 模型建議(SchemaRecommendations)AWS IAM 身份驗證和 Atlas x509聯(lián)合查詢(Federated Queries) Ops Manager 4.44.44.2開發(fā)人員生產(chǎn)力擴展和性能彈性和安全MQL + 驅(qū)動聯(lián)合(Union)$function: body: ,args: , lang: jsz自定義聚合表達(dá)式其他新查詢和驅(qū)動功能新聚合操作符和表達(dá)式簡化代碼：搜索和操作字段更加簡便，并可定位數(shù)組首尾元素簡化架構(gòu)分析和性能優(yōu)

8、化：表達(dá)式可返回二進(jìn)制文件或 BSON 對象的大小連接監(jiān)控和池化提升可觀察性：標(biāo)準(zhǔn)化驅(qū)動配置和連接池管理全局讀/寫關(guān)注隔離和持久性治理：通過服務(wù)端配置來維護(hù)所有客戶端一致性的行為。在驅(qū)動中可調(diào)。 注：Atlas 暫不支持MongoDB驅(qū)動重新認(rèn)識M ongoDB重新認(rèn)識M ongoDB原生分片集群跨實例和區(qū)域橫向擴展，實現(xiàn)無縫擴展對應(yīng)用透明對任何規(guī)模都保持彈性且兼顧成本和效益分片鍵：customer_id78%負(fù)載分片 1分片 232%負(fù)載49%負(fù)載分片鍵：customer_id , order_id45%負(fù)載分片 2分片 1定義的分片鍵為多字段組合，包含任意單 字段避免單調(diào)變化的分片鍵（慢增

9、長值如客戶 ID） 時產(chǎn)生“熱分片”更加均勻地分布數(shù)據(jù)組合哈希分片鍵性能對沖讀 (Hedged Reads)mongos其他新功能流式復(fù)制隱藏索引并行索引創(chuàng)建彈性鏡像讀(Mirrored Reads)緩存緩存鏡像讀(Mirrored Reads)緩存緩存可恢復(fù)的初始化同步緩存緩存其他新功能流式拓?fù)涓母焖俚目蛻舳苏J(rèn)證基于時間的 Oplog 保留安全傳輸和存儲數(shù)據(jù)：TLS傳輸加密通過網(wǎng)絡(luò)進(jìn)行傳輸(In-flight)數(shù)據(jù)解密后進(jìn)入服務(wù)器內(nèi)存?zhèn)鬏敽痛鎯?shù)據(jù)：落盤加密持久化在(At-rest) 磁盤中卷加密(Volume Encryption)存儲引擎加密(Storage Engine Encry

10、ption)網(wǎng)絡(luò)數(shù)據(jù)解密后進(jìn)入服務(wù)器內(nèi)存但是，使用中的數(shù)據(jù)呢？網(wǎng)絡(luò)使用中，內(nèi)存中磁盤數(shù)據(jù)庫進(jìn)行處理期間，數(shù)據(jù)為明文（未經(jīng)加密）影響數(shù)據(jù)因素：授權(quán)的和被盜用的管理員和用戶RAM 抓取過程檢查使用中，內(nèi)存中字段級加密 (Field Level Encryption)未加密的敏感數(shù)據(jù)絕不會流出應(yīng)用程序無需修改應(yīng)用程序數(shù)據(jù)仍可被查詢最大程度降低對數(shù)據(jù)庫性能的沖擊管理員不可見其他新安全功能TLS 1.3動態(tài)加密最新標(biāo)準(zhǔn)：向前兼容所有支持的 MongoDB 版本。后續(xù)幾個季度將在Atlas 中推出OCSP 裝訂(Stapling)證書驗證更簡單：MongoDB 直接通過 OCSP 查詢認(rèn)證機構(gòu)。無需下載證

11、書撤 銷列表并重啟服務(wù)器以刷新證書狀態(tài)Kerberos 配置實用程序(Configuration Utility)更快部署：自動檢查常見配置問題，為實現(xiàn)成功部署提供糾錯建議運維 + 集成適用于 Kubernetes 的 Enterprise OperatorOps ManagerKubernetes 上的 MongoDB自動化 監(jiān)控 備份適用于 Kubernetes 的 Community Operator適用于 Kubernetes 的Community Operator用于 Apache Kafka 的 MongoDB 連接器Confluent Cloud 上的Kafka 連接器工具mon

12、gosh (Beta)MongoDB Shell 是 MongoDB 交互式 JavaScript 界面?？山柚鷐ongo shell 查詢和更新數(shù)據(jù)，執(zhí)行管理操作。自動完成（autocomplete）語法高亮顯示錯誤消息上下文幫助Compass + mongoshIDE集成 - VSCodeIDE集成 - Jet BrainsMongoDB Atlas 云服務(wù)自主管理還是Atlas數(shù)據(jù)庫即服務(wù)？自主管理緩慢、復(fù)雜 無彈性依賴手動降低 ROI 和敏捷性自服務(wù) 完全彈性 基于消費降低 TCO，加速價值轉(zhuǎn)化數(shù)據(jù)庫 即服務(wù)選擇云遷移現(xiàn)狀0.1M1.5M+0.0M20172018TodayMongoD

13、B Atlas上部署的數(shù)據(jù)庫集群數(shù)數(shù)據(jù)庫即服務(wù)的領(lǐng)導(dǎo)者年增長340超過16,000個Atlas客戶每天處理超過1,120億次查詢Forrester Wave：數(shù)據(jù)庫即服務(wù)，2019年第二季 度報告將MongoDB評為數(shù)據(jù)庫即服務(wù)市場的領(lǐng)導(dǎo)者。Atlas: 完全托管的集成數(shù)據(jù)層Atlas 搜索Atlas 數(shù)據(jù)湖MongoDB ChartsRealm 移動數(shù)據(jù)庫MongoDB數(shù)據(jù)的可視化邊緣到云同步使用MQL的全文搜索使用MQL的聯(lián)合查詢數(shù)據(jù)分層以數(shù)據(jù)庫為核心MongoDB Atlas 探究如果主節(jié)點(primary node)由于任何原因而出 現(xiàn)故障，MongoDB Atlas 會迅速實施自修復(fù)

14、 恢復(fù)流程。默認(rèn)高可用應(yīng)用程序驅(qū)動主節(jié)點從節(jié)點從節(jié)點每個副本集(replica set)/分片(shard)至少自動 在區(qū)域中部署三個數(shù)據(jù)節(jié)點，以實現(xiàn)高可用為達(dá)到透明恢復(fù)，驅(qū)動無法找到可用的主節(jié) 點或遇到網(wǎng)絡(luò)錯誤，則能夠自動重試讀寫操 作跨區(qū)域復(fù)制在多區(qū)域或整個區(qū)域中斷的情況下確保正常 運行時間通過地理分布不參與故障轉(zhuǎn)移過程的只讀副本集成員來提高本地讀取的性能適用于在Google Cloud，AWS或Azure的專 用實例上運行的Atlas部署全球集群將全自動數(shù)據(jù)庫分布在由一個或多個云區(qū)域組 成的多個地理分布區(qū)域中本地讀取和寫入可為您的分布式應(yīng)用程序提供毫秒級的延遲確保來自特定地區(qū)的數(shù)據(jù)位于預(yù)

15、定義的區(qū)域中使用預(yù)先構(gòu)建的區(qū)域模板輕松部署，或通過在易 于使用的可視界面中選擇云區(qū)域來自己構(gòu)建多云集群跨多個云部署單個集群。 在存儲數(shù)據(jù)的位置 以及Atlas可以使用哪些云服務(wù)方面，獲得了無 與倫比的靈活性?？缭迫哂啻_保持續(xù)可用性將集群從一個云無縫遷移到另一個云在多個云中利用同類最佳技術(shù)通過將數(shù)據(jù)庫分布到更多區(qū)域來吸引更多用戶細(xì)粒度的監(jiān)視和告警根據(jù)數(shù)十種吞吐量，性能和利用率指標(biāo)創(chuàng)建儀表 板，以分析歷史數(shù)據(jù)庫性能，精確到一分鐘Atlas項目包含一組預(yù)配置的告警規(guī)則，以涵蓋 常見的性能問題當(dāng)數(shù)據(jù)庫操作，服務(wù)器使用率或其他條件達(dá)到定 義的閾值以適合您的工作負(fù)載時，添加和自定義 通知通過電子郵件，短信

16、和您已經(jīng)使用的其他渠道獲取告警信息實時性能指標(biāo)實時性能面板允許您實時查看集群指標(biāo)，從而提 供了對數(shù)據(jù)庫的無與倫比的洞察力，包括：數(shù)據(jù)操作讀/寫網(wǎng)絡(luò)輸入/輸出內(nèi)存熱門的集合慢操作查詢分析器在查詢分析器的幫助下，快速診斷和解決問題， 該分析器顯示了長期運行的查詢及其關(guān)鍵性能 統(tǒng)計信息查看歷史操作以快速識別集合和操作類型之間 的異常值和查詢模式永遠(yuǎn)在線，可提供過去24小時操作的可視性無需下載，處理或分析服務(wù)器日志性能建議器自動化的智能建議，以改善集群性能基于對群集元數(shù)據(jù)和日志的自動分析，生成索引 和模式建議點擊創(chuàng)建索引以輕松優(yōu)化性能基于常見反模式檢測，提供模式建議實時建議，無需額外開銷數(shù)據(jù)瀏覽器使用

17、內(nèi)置的數(shù)據(jù)瀏覽器從Atlas界面瀏覽和操作數(shù)據(jù)使用完整的CRUD功能運行查詢并與您的數(shù)據(jù)進(jìn)行交互管理索引并查看索引使用情況統(tǒng)計信息查看架構(gòu)建議建立和測試樣本聚合管道創(chuàng)建和管理搜索索引所有Data Explorer操作都記錄在項目級活動Feed中聚合管道生成器使用易于使用的Aggregation Pipeline Builder構(gòu) 建和測試樣本聚合管道可從數(shù)十個MongoDB聚合階段和100多個運算符 中進(jìn)行選擇拖放階段可快速測試和應(yīng)用更改查看示例文檔結(jié)果以驗證每個階段的轉(zhuǎn)換和聚合將完成的管道代碼導(dǎo)出為您選擇的語言，以在應(yīng) 用程序代碼中執(zhí)行Aggregation pipeline builder

18、使用MongoDB Atlas Search在云中的數(shù)據(jù)之 上構(gòu)建快速，相關(guān)的全文搜索創(chuàng)建功能強大的搜索查詢，以利用豐富的MongoDB聚合框架通過將搜索集成到數(shù)據(jù)層，您可以消除昂貴 的復(fù)制并簡化應(yīng)用程序基礎(chǔ)架構(gòu)Atlas Search適用于所有運行 MongoDB 4.2+的集群Atlas 搜索云備份云備份使用基礎(chǔ)云提供商的本機快照功能。可自定義的快照計劃和保留； 根據(jù)需要拍攝 其他快照備份存儲在與托管數(shù)據(jù)庫相同的云區(qū)域中可以選擇通過云提供商KMS用您自己的密鑰 加密快速快照還原支持副本集和分片群集，并在各個分片之間 進(jìn)行一致的備份持續(xù)云備份連續(xù)云備份將添加到云備份的快照備份中： Mongo

19、DB Atlas持續(xù)備份您的數(shù)據(jù)，確保您 的備份通常僅落后于操作系統(tǒng)幾秒鐘配置持續(xù)備份的窗口：完整的操作日志在 該時間段內(nèi)存儲按時間點恢復(fù)：重放操作日志以將集群恢 復(fù)到窗口中的特定時間點，滿足低至1分鐘 的恢復(fù)點目標(biāo)（RPO）工作負(fù)載隔離工作負(fù)載隔離是Atlas中副本集的主要優(yōu)勢通過在副本集中指定只讀節(jié)點來增強數(shù)據(jù) 庫性能消除同一數(shù)據(jù)庫上操作查詢和分析查詢之 間的干擾和資源爭用使用分析節(jié)點來處理分析工作負(fù)載，例如MongoDB圖表可視化或BI Connector查詢自動擴展：自動容量管理啟用智能的全自動容量管理，并讓您的群集計 算和存儲自動擴展以響應(yīng)工作負(fù)載變化默認(rèn)情況下會啟用存儲自動縮放功能

20、：使用率 達(dá)到90時會置備額外的磁盤空間可以選擇集群層自動擴展：定義最小和最大大 小，Atlas將根據(jù)關(guān)鍵利用率指標(biāo)（根據(jù)閾值） 自動擴展或縮小集群所有自動擴展事件均以滾動方式應(yīng)用，以確保沒有停機時間到連接的應(yīng)用程序使用Online Archive在MongoDB Atlas集群 和云對象存儲之間分層數(shù)據(jù)自動將不經(jīng)常訪問的文檔存檔到完全托管的 云對象存儲中，以提供更具成本效益的數(shù)據(jù) 存儲策略在優(yōu)化成本和性能的同時，保持對數(shù)據(jù)的輕 松訪問在線歸檔：自動數(shù)據(jù)分層安全：不受數(shù)據(jù)位置限制業(yè)務(wù)信任需求安全功能認(rèn)證(Authentication)X.509、LDAPS、SCRAM、IP 白名單、用戶授權(quán)(Authorization)RBAC、只讀視圖(Read-Only Views)、字段級校訂(Field-Level Redaction)審計(Auditing)管理、DML、DDL、DCL、基于角色加密(Encryption)傳輸(In-Flight)：TLS 1.1+落盤(At-Rest)：加密硬件、卷和數(shù)據(jù)庫存儲引擎 (AES-256)使用