實戰(zhàn)：大數(shù)據(jù)帶你揭秘京東運營

實戰(zhàn)：大數(shù)據(jù)帶你揭秘京東運營

劉海鋒：大規(guī)模內(nèi)存數(shù)據(jù)庫JIMDB在2015中國大數(shù)據(jù)技術(shù)大會首日全體會議中，京東云平臺總架構(gòu)師、系統(tǒng)技術(shù)部負責人劉海鋒帶來了名為《大規(guī)模內(nèi)存數(shù)據(jù)庫JIMDB：從2014到2016》的主題演講。他介紹了大規(guī)模的以內(nèi)存為中心的新型數(shù)據(jù)庫——JIMDB，包括它過去兩年的發(fā)展歷程、技術(shù)脈絡(luò)以及是怎么支撐起京東的電商業(yè)務(wù)。電商業(yè)務(wù)需要非常迅捷的數(shù)據(jù)訪問，這不僅是用戶體驗的需求，也是技術(shù)開發(fā)人員提升效率的需求，因此，京東延續(xù)數(shù)據(jù)庫領(lǐng)域的泰斗級人物JimGray的“Memoryisthenewdisk(內(nèi)存是新的磁盤)”理念，從2014年開始啟動了JIMDB。JIMDB的全稱為JingdongIn-MemoryDatabase，是一種新型的以內(nèi)存為中心的全托管、全管理服務(wù)化的數(shù)據(jù)庫，主要針對靈活類型、半結(jié)構(gòu)化數(shù)據(jù)的快速存取訪問。JIMDB最早基于Redis，但京東團隊對它進行了持續(xù)的改進與重新實現(xiàn)。目前，JIMDB已能滿足電商業(yè)務(wù)所需要的自動故障切換、在線彈性擴展、靈活復制與全自動化運維等需求，在生產(chǎn)環(huán)境達到數(shù)千機器、數(shù)萬容器實例的大規(guī)模應(yīng)用，支撐了京東海量的在線業(yè)務(wù)。劉海鋒舉出了JIMDB的實際成效案例，“內(nèi)存存儲帶來了極佳的、非常穩(wěn)定的性能。以京東線上某個比較重要的集群為例，在雙11期間它整體的QPS超過200多萬，而且99%的請求在2毫秒之內(nèi)返回。JIMDB讓用戶體驗更好，讓我們的業(yè)務(wù)開發(fā)起來更加簡單，讓運維工作更加省心、更加輕松?！眲⒑ｄh透露，京東未來還將從專署集群過渡到聚合各個IDC的RAM資源，聚合整個RAM資源，讓數(shù)據(jù)動態(tài)流動、降低整體硬件成本。他認為，“內(nèi)存是存儲的未來”一定是趨勢所在。劉彥偉：讓更多人玩轉(zhuǎn)大數(shù)據(jù)京東大數(shù)據(jù)平臺研發(fā)負責人劉彥偉做了題為《京東實時數(shù)據(jù)平臺的實現(xiàn)和應(yīng)用》的主題演講。他表示，京東希望通過打造一個優(yōu)秀的大數(shù)據(jù)基礎(chǔ)平臺，降低京東大數(shù)據(jù)消費的門檻，讓更多的人能夠玩轉(zhuǎn)大數(shù)據(jù)，讓每個人都成為大數(shù)據(jù)的專家。京東這兩年發(fā)展非常快，大數(shù)據(jù)也呈現(xiàn)了同步快速發(fā)展態(tài)勢。截止2015年Q3京東大數(shù)據(jù)基礎(chǔ)平臺整體容量突破90PB，每天新增超過1PB數(shù)據(jù)，每日掃描數(shù)據(jù)量超過了5PB，每天約有20萬個作業(yè)運行。京東大數(shù)據(jù)平臺是以平臺化的思維為整個京東提供大數(shù)據(jù)基礎(chǔ)服務(wù)，其中包括硬件資源、平臺工具、數(shù)據(jù)服務(wù)、用戶畫像、技術(shù)輸出等，希望通過基礎(chǔ)設(shè)施和工具的建設(shè)，讓更多的用戶可以自助地在平臺上做自己的大數(shù)據(jù)業(yè)務(wù)。劉彥偉介紹說，整個京東大數(shù)據(jù)平臺分兩部分，一部分是離線的數(shù)據(jù)平臺，一部分是實時的數(shù)據(jù)平臺。2014年之前還是離線的數(shù)據(jù)處理為主，2014年之后，不論是業(yè)務(wù)上還是技術(shù)上，對實時的要求越來越迫切，因此京東打造了實時數(shù)據(jù)平臺。從京東商城、京東金融、京東智能、京東到家的各個業(yè)務(wù)條線，每天都在產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)通過統(tǒng)一的平臺“數(shù)據(jù)直通車JDBUS”實時接入，統(tǒng)一在JDQ實時數(shù)據(jù)總線實時存儲，再通過實時計算平臺JRC完成實時計算，可供精準化營銷、實時運營決策、實時監(jiān)控等領(lǐng)域使用。京東大數(shù)據(jù)平臺通過技術(shù)解決了三大難題：第一數(shù)據(jù)接入的問題，第二數(shù)據(jù)存儲的問題，第三數(shù)據(jù)計算的問題。在京東首頁“猜你喜歡”的模塊，就是基于離線的用戶畫像、商品畫像并結(jié)合用戶的實時瀏覽行為，經(jīng)過復雜的實時推薦算法提供的。在站外的廣告位，比如新浪，也會基于實時的模式打造個性化推薦。而在對商家服務(wù)的京東數(shù)據(jù)羅盤中，為商家提供的數(shù)據(jù)決策支持系統(tǒng)也是一個典型應(yīng)用。商家可以看到實時的訂單、用戶、瀏覽等營銷數(shù)據(jù)，幫助商家提升自己的運營效率、效果。萬昊：大數(shù)據(jù)技術(shù)在京東廣告中的應(yīng)用京東數(shù)字營銷大數(shù)據(jù)高級總監(jiān)萬昊發(fā)表了《大數(shù)據(jù)技術(shù)在京東廣告中的應(yīng)用》的主題演講，分享了京東在廣告上大數(shù)據(jù)的實踐。萬昊認為，大數(shù)據(jù)并不必然就一定有效果。除非人們能從中發(fā)現(xiàn)有用的信息和規(guī)律，這才是大數(shù)據(jù)真正重要的地方。傳統(tǒng)營銷中人群定向是一種退而求其次的方法，廣告主直接找到他的核心或潛在用戶才是最直接的。而京東大數(shù)據(jù)就可以實現(xiàn)這種直接的定向，比如定向看過或買過指定商品的、指定品牌和店鋪的用戶。京東怎么知道用戶在京東的體驗得到滿足了呢？這也有可以量化的指標衡量：用戶購買的商品總額和商品數(shù)。京東廣告將此兩個指標作為主要優(yōu)化目標，實現(xiàn)的方法是大規(guī)模機器學習、標簽標引。萬昊說，京東的搜索廣告和推薦位廣告是一套架構(gòu)。同一個廣告單元，可以有兩種定向：購物行為定向和搜索定向，排序根據(jù)質(zhì)量因子×出價決定。所謂質(zhì)量因子就是機器學習模型起效的地方，比如用戶看了兩個商品，卻只買了其中一個，肯定是對一個感興趣，對另一個興趣不大。京東廣告使用深度學習技術(shù)來預估用戶的興趣，根據(jù)結(jié)果選擇讓何種廣告處在更顯眼的位置上。這樣，用戶買到了他想買的東西，廣告商推廣賣出了自己的東西，京東幫助用戶選到了心儀的商品，同時也從廣告商那收到了廣告費，達到三贏的狀態(tài)。杜宇甫：構(gòu)建大數(shù)據(jù)生態(tài)環(huán)境京東集團云平臺數(shù)據(jù)首席架構(gòu)師杜宇甫發(fā)表了題為《構(gòu)建大數(shù)據(jù)生態(tài)環(huán)境》的主題演講，他的演講內(nèi)容包括大數(shù)據(jù)的產(chǎn)生歷史，大數(shù)據(jù)的分析過程以及對于大數(shù)據(jù)生態(tài)的思考。杜宇甫表示：生態(tài)的意義在于整個系統(tǒng)中包含了數(shù)據(jù)的生產(chǎn)者、分解者和消費者。每次信息革命，人類的數(shù)據(jù)都在不斷增大，當“互聯(lián)網(wǎng)+信息”爆發(fā)的時候也即是人類進入大數(shù)據(jù)時代的開端。杜宇甫將大數(shù)據(jù)生態(tài)分為：數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)建模和分析、數(shù)據(jù)應(yīng)用五個階段。五個階段環(huán)環(huán)相扣，讓數(shù)據(jù)在生態(tài)中進行自主運轉(zhuǎn)。杜宇甫認為，消費不足并不是因為需求不足，而是由于產(chǎn)能供給不足，只有創(chuàng)新才能激發(fā)新的消費空間。針對創(chuàng)新激發(fā)需求這個問題，京東建立了數(shù)據(jù)云平臺，目的是想建立一個大的數(shù)據(jù)生態(tài)環(huán)境，讓數(shù)據(jù)能在這個生態(tài)中循環(huán)起來。在這個生態(tài)里，任何一個人，在任何一個環(huán)節(jié)上都能夠用起來，玩起來?！爱斢脩魯?shù)據(jù)不足，無法用于決策和優(yōu)化推廣的時候，我們可以為用戶提供咨詢服務(wù)，幫用戶做數(shù)據(jù)收集；我們也有數(shù)據(jù)市場(京東萬象數(shù)據(jù)開放平臺)可以進行數(shù)據(jù)共享和交易；如果用戶不懂數(shù)據(jù)價值，我們可以提供數(shù)據(jù)專家?guī)椭脩敉诰騼r值；如果用戶無法支持海量數(shù)據(jù)分析，我們可以提供分布式數(shù)據(jù)集群，硬件和軟件資源幫用戶處理數(shù)據(jù)；在上層我們提供數(shù)據(jù)生成工具，把整個數(shù)據(jù)環(huán)節(jié)串聯(lián)起來，最終幫用戶將數(shù)據(jù)變現(xiàn)和產(chǎn)生更多商業(yè)價值。數(shù)據(jù)的交易和增值，開放和共享不僅給企業(yè)自身帶來價值，同時也會為其他的企業(yè)和整個社會帶來積極的影響?！本〇|的精彩分享引發(fā)了大數(shù)據(jù)技術(shù)大會與會者的強烈關(guān)注，也成為現(xiàn)場