Apache Doris助力企業(yè)實現(xiàn)數(shù)據(jù)智能化應(yīng)用

趙書賢啟高科技聯(lián)創(chuàng)&方案架構(gòu)師01關(guān)于啟高科技02零售業(yè)數(shù)據(jù)特征03基于ApacheDoris+啟數(shù)道的數(shù)據(jù)平臺分享嘉賓–上海啟高信息科技有限公司趙書賢聯(lián)合創(chuàng)始人&方案架構(gòu)師超過18年企業(yè)大數(shù)據(jù)BI咨詢規(guī)劃與實施落地經(jīng)驗，為超過百家大中型企業(yè)提供大數(shù)據(jù)BI咨詢實施服務(wù)，對零售、制造行業(yè)有豐富經(jīng)驗，對SAPBW/HANA、大數(shù)據(jù)各組件、數(shù)據(jù)開發(fā)平臺均擁有豐富實踐經(jīng)驗。啟高科技，企業(yè)數(shù)據(jù)領(lǐng)域的持久伙伴與堅強后盾2個行業(yè)聚焦零售、制造行業(yè)2個行業(yè)聚焦零售、制造行業(yè)總部上海虹橋輻射全國1個產(chǎn)品啟數(shù)道DataOps平臺專注于大數(shù)據(jù)BI產(chǎn)品與實施專注于大數(shù)據(jù)BI產(chǎn)品與實施服務(wù)50+家客戶近三年服務(wù)的企業(yè)讓數(shù)據(jù)成為驅(qū)動力榮譽與資質(zhì)證書100+名顧問技術(shù)團隊規(guī)模服務(wù)客戶服務(wù)客戶啟高科技陪跑企業(yè)數(shù)據(jù)價值化全過程數(shù)據(jù)價值化方法論數(shù)據(jù)價值化方法論前期采集與整理保障與安全應(yīng)用和創(chuàng)新人才與組織前期采集與整理保障與安全應(yīng)用和創(chuàng)新人才與組織明確數(shù)據(jù)價值化建立完善的數(shù)據(jù)采運用數(shù)據(jù)分析和挖掘技術(shù)，將數(shù)據(jù)應(yīng)用于不同場加強數(shù)據(jù)保障和合規(guī)通過人才培養(yǎng)和組織變的目標、現(xiàn)狀、線路圖集和整理機制，確保數(shù)據(jù)的準確性、完整性和及時性。對數(shù)據(jù)進行深度挖掘和分析，發(fā)掘出潛在價值，并為業(yè)務(wù)決策提供依據(jù)。景和業(yè)務(wù)領(lǐng)域，開展數(shù)據(jù)驅(qū)動的業(yè)務(wù)創(chuàng)新和變革，推動企業(yè)發(fā)管理，確保數(shù)據(jù)安全和合法使用，避免因數(shù)據(jù)泄露等問題帶來的風(fēng)險革，建設(shè)具備數(shù)據(jù)思維和能力的團隊，推動企業(yè)實現(xiàn)從傳統(tǒng)到數(shù)字化轉(zhuǎn)型啟高科技服務(wù)內(nèi)容啟高科技服務(wù)內(nèi)容指標體系數(shù)字大屏指標體系數(shù)字大屏報表權(quán)限管控數(shù)據(jù)API數(shù)據(jù)脫敏數(shù)據(jù)人才培養(yǎng)數(shù)據(jù)文化workshop數(shù)據(jù)治理落地數(shù)據(jù)平臺建設(shè)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)戰(zhàn)略咨詢數(shù)據(jù)治理咨詢數(shù)據(jù)應(yīng)用規(guī)劃門店提效電商提效成本監(jiān)控……預(yù)測維修車間無紙化車間目視化質(zhì)量優(yōu)化……深耕行業(yè)，專注企業(yè)數(shù)據(jù)深加工，聚焦數(shù)據(jù)模型行業(yè)數(shù)據(jù)模型客戶獨特數(shù)據(jù)模型啟高行業(yè)數(shù)據(jù)資產(chǎn)模型客戶的客戶獨特數(shù)據(jù)模型啟高行業(yè)數(shù)據(jù)資產(chǎn)模型客戶的數(shù)據(jù)資產(chǎn)客戶的數(shù)據(jù)兼顧企業(yè)特點門檻要求低、快速匹配企業(yè)業(yè)務(wù)流程紡織服裝企業(yè)全方位數(shù)字化轉(zhuǎn)型，消除牛鞭效應(yīng)商品商品牛鞭效應(yīng)（BullwhipEffect）是指在供應(yīng)鏈中，較小的需求變化或波動逐漸放大，從而在上游供應(yīng)鏈環(huán)節(jié)引發(fā)更大的波動和不穩(wěn)定現(xiàn)象。DRPOMSCRMDRPOMSCRM服裝企業(yè)數(shù)字化轉(zhuǎn)型過程的困境場景復(fù)雜場景復(fù)雜、響應(yīng)要求高數(shù)據(jù)量龐大、數(shù)據(jù)多元且最復(fù)雜O2OSRMSRMERPPLMPOS商城Wechat電商平臺WMSERPPLMPOS商城Wechat電商平臺WMSMES……沉淀多年的信息商品多樣化渠道多元化商品多樣化渠道多元化經(jīng)營鏈路長經(jīng)營鏈路長柔性快返柔性快返多品牌矩陣多品牌矩陣流量分配流量分配DTCDTC千變?nèi)f化的商業(yè)模式充分利用大數(shù)據(jù)將供需實時連結(jié)在一起，實現(xiàn)全鏈路拉通終端需求驅(qū)動大數(shù)據(jù)技術(shù)掌握終端需求，并以需求為始點進行研產(chǎn)銷存全鏈路經(jīng)營活動效率提升全鏈路信息互聯(lián)互通，實現(xiàn)信息的高效傳遞，避免長鞭效應(yīng)協(xié)同作業(yè)訂單跟蹤，實現(xiàn)全環(huán)節(jié)協(xié)協(xié)同能力精準定位借助大數(shù)據(jù)AI技術(shù)，實現(xiàn)人貨場的精準定位?需求預(yù)測、快速迭代、終端與工廠制造端聯(lián)動，減少了鏈條中的無用環(huán)節(jié)，將高質(zhì)量的流行商品快速交付給了客戶；?通過算法從海量數(shù)據(jù)中挖掘時尚趨勢，將數(shù)據(jù)反饋給龐大的設(shè)計和打板團隊進行后續(xù)生產(chǎn)；數(shù)據(jù)中臺管理庫存、生產(chǎn)能力數(shù)據(jù)，直接連結(jié)工廠車間與客戶；借助強大的數(shù)據(jù)和算法支持，實現(xiàn)快速增長供應(yīng)鏈信息系統(tǒng)服裝生產(chǎn)工廠車間品牌商信供應(yīng)鏈信息系統(tǒng)服裝生產(chǎn)工廠車間品牌商信息系統(tǒng)線下門店電商平臺全鏈路數(shù)據(jù)拉通，實時反饋數(shù)字大屏固定大表移動看板數(shù)據(jù)應(yīng)用（可視化應(yīng)用）計算引擎計算任務(wù)計算任務(wù)新零售ERP數(shù)據(jù)管道（實時）/定時任務(wù)ODSFlinkCDCDataX2Kafka指標歸因智能補貨（業(yè)務(wù)場景應(yīng)用）ODSApacheDoris/SelectDB數(shù)據(jù)存儲存數(shù)字大屏固定大表移動看板數(shù)據(jù)應(yīng)用（可視化應(yīng)用）計算引擎計算任務(wù)計算任務(wù)新零售ERP數(shù)據(jù)管道（實時）/定時任務(wù)ODSFlinkCDCDataX2Kafka指標歸因智能補貨（業(yè)務(wù)場景應(yīng)用）ODSApacheDoris/SelectDB數(shù)據(jù)存儲查詢引擎應(yīng)用層分析權(quán)限數(shù)據(jù)服務(wù)API啟數(shù)道大數(shù)據(jù)管理平臺啟數(shù)道大數(shù)據(jù)管理平臺Doris作為企業(yè)大數(shù)據(jù)存儲查詢引擎的幾大亮點數(shù)據(jù)寫入效率數(shù)據(jù)寫入效率1.支持多種方式的高效寫入，尤其是StreamLoad性能非常高2.單表導(dǎo)入性能，在并發(fā)數(shù)為1，單次導(dǎo)入數(shù)據(jù)量達到10MB，導(dǎo)入吞吐量能達到160MB/秒，或者10W行/s。數(shù)據(jù)查詢效率數(shù)據(jù)查詢效率1.Doris的一些特性，如分區(qū)分桶，數(shù)據(jù)模型，物化視圖，優(yōu)化器等提升查詢效率2.高并發(fā)數(shù)據(jù)更改能力（隨機寫）1.Doris提供的UniqueKey數(shù)據(jù)模型，根據(jù)key列，修改value列。數(shù)據(jù)拉取能力（增量數(shù)據(jù)流）1.Doris2.1版本之前，默認使用Merge_on_read機制2.Doris2.1版本開始，默認使用Merge_on_write機制：在更新數(shù)據(jù)時，完成所有數(shù)據(jù)合并的工作，以便提高查詢性能Doris在零售行業(yè)數(shù)據(jù)應(yīng)用適用場景Doris是一款分布式查詢數(shù)據(jù)庫，在擁有較高的查詢性能的同時能夠保持數(shù)據(jù)一致性、并支持Join及標準SQL，簡單運維等特性，適合集數(shù)據(jù)倉庫與數(shù)據(jù)查詢于一體的應(yīng)用場景。邏輯計算邏輯計算適用場景實時計算適用場景實時計算視圖計算?Doris提供同步/異步導(dǎo)入，對所有導(dǎo)入提供原子性保證，通過Label機制保證對應(yīng)數(shù)據(jù)最多被導(dǎo)入一次?Doris可以實現(xiàn)類似財務(wù)分攤等強一致性的計算邏輯，支持標準SQL操作?Doris支持視圖預(yù)計算，可默認以視圖方式實現(xiàn)邏輯?面對變化較頻繁的場景，可以通過Doris視圖方式實現(xiàn)，不用重新上數(shù)，每次修改代碼后可直接查詢視圖結(jié)果，提升響應(yīng)效率?結(jié)合視圖計算，可以通過Flink將數(shù)據(jù)進入到Doris，然后在Doris視圖中寫加工邏輯，以達到實時場景?即：業(yè)務(wù)數(shù)據(jù)只有一次接入過程，然后就是視圖計算了啟高科技打造的覆蓋全鏈路的大數(shù)據(jù)服務(wù)平臺：啟數(shù)道與BI可視化、數(shù)據(jù)產(chǎn)品集成與BI可視化、數(shù)據(jù)產(chǎn)品集成治理及服務(wù)發(fā)布架構(gòu)開放屏蔽大數(shù)據(jù)架構(gòu)復(fù)雜性實施簡單加速數(shù)據(jù)中臺實施部署架構(gòu)開放屏蔽大數(shù)據(jù)架構(gòu)復(fù)雜性實施簡單加速數(shù)據(jù)中臺實施部署組件化可拖拽式數(shù)據(jù)應(yīng)用數(shù)據(jù)對象數(shù)據(jù)源數(shù)據(jù)對象數(shù)據(jù)源數(shù)據(jù)開發(fā)數(shù)據(jù)建模數(shù)據(jù)開發(fā)數(shù)據(jù)建模調(diào)度管理數(shù)據(jù)開發(fā)任務(wù)編排數(shù)據(jù)質(zhì)量數(shù)據(jù)API數(shù)據(jù)門戶調(diào)度管理數(shù)據(jù)開發(fā)任務(wù)編排數(shù)據(jù)質(zhì)量指標管理指標管理數(shù)據(jù)資產(chǎn)數(shù)據(jù)標準數(shù)據(jù)資產(chǎn)數(shù)據(jù)標準數(shù)據(jù)血緣數(shù)據(jù)治理元數(shù)據(jù)數(shù)據(jù)血緣數(shù)據(jù)治理元數(shù)據(jù)訓(xùn)練集API定義訓(xùn)練集API定義數(shù)據(jù)標簽API監(jiān)控智能場景自服務(wù)極