XX集團大數(shù)據(jù)平臺項目建設實施方案

錯誤!未找到引用源。所示：圖Quartz功能關系圖Job為作業(yè)的接口，為任務調度的對象；JobDetail用來描述Job的實現(xiàn)類及其它相關的靜態(tài)信息；Trigger為作業(yè)的定時管理工具，一個Trigger只能對應一個作業(yè)實例，而一個作業(yè)實例可對應多個觸發(fā)器；Scheduler為定時任務容器，為quartz最上層的東西，它提攜了所有觸發(fā)器和作業(yè)，使它們協(xié)調工作，每個Scheduler都存有JobDetail和Trigger的注冊，一個Scheduler中可以注冊多個JobDetail和多個Trigger。JOB是一個接口，只有一個方法voidexecute(JobExecutionContextcontext)，被調度的作業(yè)（類）需實現(xiàn)該接口中execute()方法，JobExecutionContext類提供了調度上下文的各種信息。每次執(zhí)行該Job均重新創(chuàng)建一個Job實例JobDetailQuartz在每次執(zhí)行Job時，都重新創(chuàng)建一個Job實例，所以它不直接接受一個Job的實例，相反它接收一個Job實現(xiàn)類，以便運行時通過newInstance()的反射機制實例化Job。因此需要通過一個類來描述Job的實現(xiàn)類及其它相關的靜態(tài)信息，如Job名字、描述、關聯(lián)監(jiān)聽器等信息，JobDetail承擔了這一角色。JobDetail用來保存我們作業(yè)的詳細信息。一個JobDetail可以有多個Trigger，但是一個Trigger只能對應一個JobDetail。Trigger是一個類，描述觸發(fā)Job執(zhí)行的時間觸發(fā)規(guī)則。主要有SimpleTrigger和CronTrigger這兩個子類。當僅需觸發(fā)一次或者以固定時間間隔周期執(zhí)行，SimpleTrigger是最適合的選擇；而CronTrigger則可以通過Cron表達式定義出各種復雜時間規(guī)則的調度方案：如每早晨9:00執(zhí)行，周一、周三、周五下午5:00執(zhí)行等。SchedulerScheduler負責管理Quartz的運行環(huán)境，Quartz它是基于多線程架構的，它啟動的時候會初始化一套線程，這套線程會用來執(zhí)行一些預置的作業(yè)。Trigger和JobDetail可以注冊到Scheduler中；Scheduler可以將Trigger綁定到某一JobDetail中，這樣當Trigger觸發(fā)時，對應的Job就被執(zhí)行。Scheduler擁有一個SchedulerContext，它類似于ServletContext，保存著Scheduler上下文信息，Job和Trigger都可以訪問SchedulerContext內的信息。Scheduler使用一個線程池作為任務運行的基礎設施，任務通過共享線程池中的線程提高運行效率。作業(yè)管理和存儲作業(yè)一旦被調度，調度器需要記住并且跟蹤作業(yè)和它們的執(zhí)行次數(shù)。如果你的作業(yè)是30分鐘后或每30秒調用，這不是很有用。事實上，作業(yè)執(zhí)行需要非常準確和即時調用在被調度作業(yè)上的execute()方法。Quartz通過一個稱之為作業(yè)存儲（JobStore）的概念來做作業(yè)存儲和管理。Quartz提供兩種基本作業(yè)存儲類型。第一種類型叫做RAMJobStore，它利用通常的內存來持久化調度程序信息。這種作業(yè)存儲類型最容易配置、構造和運行。對許多應用來說，這種作業(yè)存儲已經(jīng)足夠了。然而，因為調度程序信息是存儲在被分配給JVM的內存里面，所以，當應用程序停止運行時，所有調度信息將被丟失。如果你需要在重新啟動之間持久化調度信息，則將需要第二種類型的作業(yè)存儲。第二種類型的作業(yè)存儲實際上提供兩種不同的實現(xiàn)，但兩種實現(xiàn)一般都稱為JDBC作業(yè)存儲。兩種JDBC作業(yè)存儲都需要JDBC驅動程序和后臺數(shù)據(jù)庫來持久化調度程序信息。這兩種類型的不同在于你是否想要控制數(shù)據(jù)庫事務或這釋放控制給應用服務器例如BEA'sWebLogic或Jboss。（這類似于J2EE領域中，Bean管理的事務和和容器管理事務之間的區(qū)別）這兩種JDBC作業(yè)存儲是：JobStoreTX：當你想要控制事務或工作在非應用服務器環(huán)境中時使用JobStoreCMT：當你工作在應用服務器環(huán)境中和想要容器控制事務時使用。JDBC作業(yè)存儲為需要調度程序維護調度信息的用戶而設計。Quartz集群一個Quartz集群中的每個節(jié)點是一個獨立的Quartz應用，它又管理著其他的節(jié)點。必須對每個節(jié)點分別啟動或停止。不像許多應用服務器的集群，獨立的Quartz節(jié)點并不與其它的節(jié)點或是管理節(jié)點通信。數(shù)據(jù)質量管控平臺充分利用Quartz技術優(yōu)點，在此基礎上設計產(chǎn)品中框架、并在此基礎上進行調度模塊開發(fā)。消息總線消息總線主要通過RabiteMQ技術實現(xiàn)跨系統(tǒng)多平臺的任務協(xié)同，實現(xiàn)系統(tǒng)內部之間的解耦，與外部系統(tǒng)之間的協(xié)同。圖消息總線跨平臺協(xié)同當其它系統(tǒng)模塊要跟整個系統(tǒng)的任務協(xié)同工作，如當空間滿了，自動啟動數(shù)據(jù)清理工作。則可以將清理程序以消費者身份注冊到消息總線的相關事件。通過消息總線進行內部子系統(tǒng)解耦，與其他系統(tǒng)協(xié)作。在每個目標庫都需要部署相關的Agent，由Agent負責執(zhí)行具體的任務和報告相關信息給消息總線，同時，任務控制器根據(jù)事件內容，如何判斷該啟動下一步的哪些任務。爬蟲引擎互聯(lián)網(wǎng)網(wǎng)頁爬取爬蟲模塊主要提供以下功能：按照給定的URL列表進行網(wǎng)頁抓取，目前只支持HTTP協(xié)議。對于中文網(wǎng)頁，可以正確識別該碼的編碼格式，正確爬取中文正文。對成功爬取的頁面進行頁面解析，解析成可供分類模塊使用的正文。記錄未成功爬取URL，進行重試爬取操作。可根據(jù)實際需求對爬蟲進行參數(shù)配置，例如爬取線程數(shù)量，爬取的請求間隔時間，重試次數(shù)等。提供簡單的監(jiān)控功能，可對爬蟲的狀態(tài)進行監(jiān)控，例如當前爬蟲的剩余爬取URL數(shù)量，本批次的爬取進度，成功爬取URL數(shù)量，失敗爬取URL數(shù)量等。網(wǎng)頁爬取流程如下：圖：網(wǎng)頁爬蟲流程還原用戶原始UA信息:判斷用戶實際上網(wǎng)環(huán)境的UA設置，并還原實際UA信息進行網(wǎng)頁爬取。匹配用戶登錄狀態(tài):判斷用戶實際上網(wǎng)環(huán)境的網(wǎng)站登錄情況，如用戶在瀏覽某網(wǎng)站時的狀態(tài)為已登錄則需要通過登錄策略爬取網(wǎng)頁登錄后的實際信息。爬蟲爬取:針對網(wǎng)頁頁面屬性應用靜態(tài)爬蟲或動態(tài)爬蟲對頁面進行爬取。爬蟲防封策略:由于現(xiàn)互聯(lián)網(wǎng)環(huán)境下的各網(wǎng)站均設置了反爬蟲策略，且對爬蟲IP的檢索和查封力度不斷加大，網(wǎng)站對于爬蟲IP的識別主要通過一段周期內的訪問頻率而定，故配置爬蟲集群對同一網(wǎng)站頁面信息爬取的頻率（如每IP對同一頁面每小時爬取限定1次）可有效解決爬蟲IP被封的風險。網(wǎng)頁去噪針對于非結構化網(wǎng)頁，采用先去嗓（剔除網(wǎng)頁頁面四周無意義的信息，包括廣告、推薦），提高爬取內容的有效性。爬蟲防封策略由于現(xiàn)互聯(lián)網(wǎng)環(huán)境下的各網(wǎng)站均設置了反爬蟲策略，且對爬蟲IP的檢索和查封力度不斷加大，網(wǎng)站對于爬蟲IP的識別主要通過一段周期內的訪問頻率而定，故配置爬蟲集群對同一網(wǎng)站頁面信息爬取的頻率（如每IP對同一頁面每小時爬取限定1次）可有效解決爬蟲IP被封的風險。定向網(wǎng)頁爬取針對網(wǎng)站開發(fā)爬取模板，在爬取時調用該網(wǎng)站模板，可針對性抽取主要的參數(shù)和屬性。如要求爬取“企業(yè)信息公示–中信置業(yè)-登記信息”下所有的“基本信息、變更信息”，定向爬蟲程序會爬取下圖中的范圍：互聯(lián)網(wǎng)文本爬取網(wǎng)頁解析過程根據(jù)不同的目的和不同的用戶行為場景，采用不同的方式進行信息提?。辉谫Y源識別中，所有指定URL資源頁面的抽取均采用為該網(wǎng)頁定制化模版進行資源屬性信息抽取。在內容識別中，如為用戶搜索行為，則只提取搜索關鍵字即可；如為非搜索行為，則需要抽取該頁面的keywords和title，同時抽取頁面源碼中有語議的部分進行后續(xù)處理。網(wǎng)頁解析總體流程如下：圖：網(wǎng)頁解析流程文本抽?。横槍τ诜墙Y構化網(wǎng)頁，采用先去嗓（剔除網(wǎng)頁頁面四周無意義的信息，包括廣告、推薦），而后對網(wǎng)頁中的文本進行分段抽?。祟}、時間、正文）。資源抽取：針對互聯(lián)網(wǎng)指定分類資源頁面的爬取和信息抽取，主要抽取對應資源的主要屬性和參數(shù)，多采用模版抽取方式，即每個資源對應一種模版。網(wǎng)頁資源爬取網(wǎng)頁資源屬性抽取是通過對網(wǎng)頁標簽的解析和語義的分析，從網(wǎng)頁信息流中進行解析，從而獲得網(wǎng)頁名稱、標題、發(fā)布時間、發(fā)布機構等基本信息。不同網(wǎng)站、不同分類的網(wǎng)頁可能含有不同的基本信息。對于我們可以識別的，已經(jīng)調研過的網(wǎng)頁，可以根據(jù)請求的分類類型調用不同的解析組件，例如（新聞，企業(yè)黃頁，經(jīng)濟等）。模板方式信息抽?。簩τ诓捎媚０迮渲玫姆绞降木W(wǎng)站，根據(jù)不同的網(wǎng)站（優(yōu)酷，土豆等），套用對應的網(wǎng)站抽取模板，進行信息抽取。抽取的技術采用正則表達式或XPath。網(wǎng)頁正文爬取對于文本為主的網(wǎng)頁，一般采用正文抽取模塊來進行預處理。正文抽取的方法有很多種，比如最大正文法、基于視覺的抽取、基于HTML標簽統(tǒng)計的抽取等。當前我們選用的是最大正文法抽取正文信息：最大正文法基于這樣一個前提：在一個新聞類頁面中，對于統(tǒng)計級別的所有的文本節(jié)點來說，正文的長度是最長的。這里統(tǒng)計級別是指：包含全部正文文字的最小標簽，這里具體是指的頁面中的<table>標簽和<div>標簽，而對于<p>標簽、<td>標簽、<span>標簽一般是包含在<table>標簽或<div>標簽內的，所以這些標簽不做單獨統(tǒng)計。對于一個新聞類的HTML頁面來說，新聞正文一般為一段或幾段文字，幾段文字之間是語義相關的，組成一篇完整的文章。正文的長度應該超過其他文字組合的長度，很少會有一句話的正文，很少會有長度短于標題的正文。所以我們可以找出一個頁面里面最長的文字段作為正文抽取出來。這樣的話，這段文字的開始和結束位置如何確定呢？這就要通過大量分析HTML頁面，找出具有上下文語義關聯(lián)關系的最長文字的所在的標簽，作為判斷其開始和結束的標識。數(shù)據(jù)探索數(shù)據(jù)探索平臺主要采用“R語言”開發(fā)，R是用于統(tǒng)計分析、繪圖的語言和操作環(huán)境。R是屬于GNU系統(tǒng)的一個自由、免費、源代碼開放的軟件，它是一個用于統(tǒng)計計算和統(tǒng)計制圖的優(yōu)秀工具?！癛語言”具有以下優(yōu)勢：從R語言的發(fā)展歷史上看，R主要是統(tǒng)計學家為解決數(shù)據(jù)分析領域的問題而開發(fā)的語言，因此R具有一些獨特的優(yōu)勢。統(tǒng)計學家和前沿算法支持（3400+擴展包），強大的社區(qū)支持。功能強大，能完成絕大部分數(shù)據(jù)相關的分析、統(tǒng)計、挖掘、可視化等工作開放的源代碼（自由且免費），可以部署在任何操作系統(tǒng)，可以直接運行在Hadoop集群。方便的擴展性。–可通過相應接口連接數(shù)據(jù)庫，例如Oracle、DB2、MySQL。–能同Python、Java、C、C++等語言進行互調。–豐富的API接口，調用方便。自助分析多數(shù)據(jù)源支撐自助分析支持從多種類型的數(shù)據(jù)庫中抽取數(shù)據(jù)，通過轉換后形成分析報表，供用戶瀏覽、下載、彩信、郵件推送給其他人。當前支撐的數(shù)據(jù)源有：DB2、Oracle、Postgresql、GreenPlum、Teradata、Impala（Hadoop平臺）。傻瓜式取數(shù)配置使用了JQuery、Flex等前端開發(fā)技術，為用戶提供了非常好的使用體驗，降低的使用門檻，使得業(yè)務人員能夠快速的提取、分析數(shù)據(jù)。業(yè)務術語翻譯：對數(shù)據(jù)表字段提供業(yè)務術語說明，便于用戶理解，增強取數(shù)易用性。拖拽式操作：操作界面簡單，通過拖拽的方式完成取數(shù)結果字段、篩選條件、排序字段的選取。便捷的條件配置：可通過勾選方式設置公司、品牌等維度的取數(shù)篩選條件。取數(shù)結果預覽：可實時預覽取數(shù)結果，方便用戶確認取數(shù)配置是否正確。靈活的數(shù)據(jù)計算SDA提供多種指標計算功能，如聚合、分檔、計算指標、個性化指標等，幫助用戶靈活獲取數(shù)據(jù)。豐富的數(shù)據(jù)處理提供自助取數(shù)關聯(lián)篩選，上傳文件條件篩選，數(shù)據(jù)集交差并、左關聯(lián)、全關聯(lián)處理，幫助用戶快速整合數(shù)據(jù)。所見即所得的報表配置可通過鼠標拖動方式改變圖形組件的位置、大小，實時調整頁面布局。用戶在配置界面看到的展示效果即為報表真實的展示效果。多樣的共享與協(xié)作應用共享：取數(shù)配置模板、報表配置模板可分享；報表共享：發(fā)布的分析報表可評論，導出的分析報告可以共享。數(shù)據(jù)共享：結果數(shù)據(jù)集可以共享。分布式任務處理自助分析數(shù)據(jù)處理模塊支持橫向分部署部署，能夠通過動態(tài)的添加、減少數(shù)據(jù)處理節(jié)點來提高數(shù)據(jù)處理能力。數(shù)據(jù)安全性保障由于涉及查詢用戶的清單明細信息，所以自助分析提供了多種數(shù)據(jù)安全保障措施，如：金庫認證、防拷貝、數(shù)據(jù)脫敏、虛擬桌面、數(shù)字水印、日志管理等多種手段，能夠有效防止敏感數(shù)據(jù)的越權查詢和泄露。與第三方系統(tǒng)交互自助分析提供了可供外部系統(tǒng)調用的接口，能夠接收外部系統(tǒng)傳入的數(shù)據(jù)，同時也可以將自身加工后的數(shù)據(jù)通過接口推送給外部系統(tǒng)。存儲按需分配及監(jiān)控自助分析提供存儲空間分配管理功能，可以按需分配存儲空間，實時監(jiān)控各地市、各用戶對系統(tǒng)存儲空間使用情況。企業(yè)畫像企業(yè)畫像主要是以標簽化的形式，對企業(yè)信息進行全方位、立體化的描述和展現(xiàn)。集團分公司和子公司用戶的畫像，主要是滿足集團領導和業(yè)務部門對分公司和子公司的科學有效管理；戰(zhàn)略客戶畫像的目的，則主要是為了精準畫像客戶，提升集團的服務和營銷水平。在對集團子公司和分公司用戶畫像的方法論方面引入了平衡積分卡思想（BSC），而集團戰(zhàn)略客戶畫像方面，則參考了證券公司進行公司分析的方法論，力求畫像科學嚴謹，好用易用。在構建企業(yè)用戶畫像體系時，參照構建個人用戶畫像的《一體心理學》理論，從企業(yè)基本屬性、企業(yè)內在屬性、企業(yè)關系屬性三個維度來構建完整的企業(yè)用戶畫像體系。圍繞企業(yè)基本屬性、企業(yè)內在屬性、企業(yè)關系屬性三個維度構建的企業(yè)用戶畫像指標體系可以對企業(yè)信息進行“由表及里”、“由內及外”、全方位、立體化的描述和展示。企業(yè)畫像的關鍵技術涉及數(shù)據(jù)采集及處理（包含互聯(lián)網(wǎng)數(shù)據(jù)爬?。?、數(shù)據(jù)挖掘與標簽生成、畫像應用與更新。依據(jù)企業(yè)基本屬性、企業(yè)內在屬性、企業(yè)關系屬性三個維度，完成企業(yè)用戶畫像數(shù)據(jù)的采集和基礎處理，如下圖所示：圖：企業(yè)畫像數(shù)據(jù)采集與處理構建企業(yè)用戶畫像的標簽，從生成規(guī)則上可以分為顯性標簽、統(tǒng)計類標簽和挖掘類標簽三種類型。如下圖所示：圖：企業(yè)畫像數(shù)據(jù)挖掘與標簽生成通過企業(yè)用戶的標簽化，形成畫像，同時提供豐富的可視化展現(xiàn)應用，并通過數(shù)據(jù)的持續(xù)更新及應用效果反饋，保證企業(yè)用戶畫像的及時更新。流程如下圖所示：圖：企業(yè)畫像應用與更新

項目實施方案實施方案實施規(guī)范我司承諾，項目實施過程遵循集團項目管理制度、規(guī)范和流程,并按集團的項目管理制度要求在各階段編制相應的計劃和文檔，接受各階段的評審。項目實施項目管理過程簡介項目管理過程可劃分為五大階段：項目立項前階段、項目計劃階段、項目實施階段、試運行階段、系統(tǒng)運維階段。下圖是項目管理階段過程總圖，總圖中描述了負責各階段工作的主要關鍵角色，并界定了各階段的管理邊界。圖：項目管理過程圖根據(jù)項目管理過程定義的五大階段識別關鍵活動，并根據(jù)各個活動的特性，將其分為兩個層面：技術實施層面、項目管理層面。項目各階段過程的關鍵活動如下表所列：階段立項前階段項目計劃階段項目實施階段試運行階段系統(tǒng)運維階段技術層面參與技術方案，確認技術方案準備合同技術文件規(guī)劃實施方案售前交接細化WBS，并落實相關資源、溝通任務，得到承諾客戶的溝通，召開啟動會需求調研與分析方案詳細設計軟件開發(fā)測試培訓部署準備系統(tǒng)平臺建設初驗試運行終驗制定或細化維護計劃執(zhí)行系統(tǒng)維護維護報告管理層面完成立項：簽合同（提前立項），確認項目經(jīng)理得到項目發(fā)起人批準建立項目團隊配置管理質量管理項目管理的其他領域執(zhí)行項目管理相關工作項目總結收尾合同收尾表：項目關鍵活動列表立項前階段此階段由售前部門負責，項目經(jīng)理以支持的角色參與確認售前階段技術方案，準備技術合同，規(guī)劃實施方案，協(xié)助完成合同簽訂等工作。完成立項后，由相關負責人確定項目經(jīng)理。項目計劃階段在此階段由項目經(jīng)理作為主要負責人，首要工作是與售前進行項目交接，組建項目團隊，并全面負責制定完成項目計劃、技術方案的準備，與客戶建立聯(lián)系就整個項目的執(zhí)行思路和局方配合的工作進行溝通，了解局方項目管理、驗收、付款的管理流程和組織結構等。項目實施階段在此階段由項目經(jīng)理帶領項目團隊參照項目章程，根據(jù)項目管理計劃完成項目工作說明書中的各項任務，與客戶隨時溝通執(zhí)行情況，對項目實施過程進行控制，解決各種問題，確保項目實施的順利進行。項目試運行階段項目試運行階段包括三項任務：項目初驗、試運行、項目終驗。項目初驗的主要任務包括任務執(zhí)行和問題解決，并做好各方的協(xié)調組織工作等；試運行期間的正常運維工程應由局方主導，項目組的主要工作是保持與客戶維護人員的溝通，及時發(fā)現(xiàn)和解決運行中的問題，確保系統(tǒng)試運行正常；項目終驗期間的主要工作是責任移交，簽署終驗報告和各種備忘錄等。終驗結束后，項目組須對項目進行總結收尾，對整體項目執(zhí)行情況進行評審，做出綜合評價。系統(tǒng)運維階段系統(tǒng)運維是項目階段過程的延展，根據(jù)合同類型分為：完成建設合同中約定維護期服務、完成維護合同中維護期服務。期間的主要工作包括確定運維方案，實施運維計劃，解決實際運行的問題，并定期進行運維報告，合同到期時實施合同收尾。項目干系人識別項目干系人是項目管理過程中的重要組成部分。在軟件解決方案項目管理過程中，各個干系人在項目生命周期的不同階段過程中有不同的工作任務和職責。在整個項目階段過程中，下列干系人或部門會直接或間接的參與到項目中，并對項目的執(zhí)行和結果產(chǎn)生影響。角色職責主管副總裁本項目屬于公司級重大戰(zhàn)略項目的實施過程，會有主管副總裁領導，并對項目之成敗負責。主要工作職責包括：與客戶高層溝通，對項目中重大、關鍵及方向性的選擇做出最終決策，公司戰(zhàn)略資源協(xié)調，確保戰(zhàn)略項目成功。部門/區(qū)域總監(jiān)作為項目的決策層，對項目負有領導責任，把握項目的方向和進行重大決策。主要負責下達項目任務書、資源調配及對項目發(fā)生重大問題的處理做出決策，對項目進行監(jiān)督和總體協(xié)調。負責協(xié)調項目中的資源分配，在項目出現(xiàn)問題時協(xié)助項目經(jīng)理進行解決?？蛻艚?jīng)理公司銷售部門指定的銷售人員，除完成項目的銷售任務，在項目整個生命周期中，協(xié)助項目經(jīng)理協(xié)調客戶關系，特別幫助項目經(jīng)理在項目初期與客戶建立聯(lián)系、并幫助項目經(jīng)理協(xié)調客戶關系完成項目驗收、項目收款等環(huán)節(jié)。項目經(jīng)理全權負責整個項目的計劃、執(zhí)行和控制。對于外部（客戶、第三方廠商、供貨商）來講，代表公司行使項目管理職責，協(xié)調各種關系；對內部來講，負責組織和協(xié)調公司內部參加項目的成員。計劃、執(zhí)行、控制整個項目，負責項目的收入和收款指標。技術經(jīng)理負責項目實施中的整體技術方案，負責項目內容的具體實施，解決項目實施中遇到的技術問題。需求分析人員協(xié)助解答開發(fā)人員在開發(fā)過程中遇到的業(yè)務問題架構設計人員負責軟件系統(tǒng)總體設計、詳細設計文檔的開發(fā)、評審和修訂模型設計人員負責數(shù)據(jù)倉庫模型設計開發(fā)人員按照設計要求對軟件內相應功能點進行開發(fā)。修改測試人員識別的缺陷。負責對軟件的緊急問題的處理。測試人員按計劃進行代碼開發(fā)及單元測試工作集成實施工程師負責項目內容的具體實施，并負責項目局部的技術方案細化。產(chǎn)品實施工程師負責產(chǎn)品安裝和調測。運維工程師負責項目完成的系統(tǒng)的運維工作，或者按照簽訂的運維服務合同提供系統(tǒng)運維服務。配置管理人員對已歸檔的設計文檔打標識。PPQA負責對過程及工作產(chǎn)品的質量進行監(jiān)控，并指導流程實施。文檔工程師負責文檔的規(guī)范和歸檔。培訓部內設培訓學院，負責項目中的培訓任務，包括培訓計劃制定、培訓預算、培訓執(zhí)行、培訓反饋等。商務部負責外購軟硬件設備的采購，就設備問題、外部技術支持等問題協(xié)助項目經(jīng)理和設備廠商進行協(xié)調和溝通。參與項目的收尾工作，參與交付物的交付工作。財務部參與項目的收尾工作，配合收款，提供項目的財務核算工作。第三方廠商項目采購涉及到的所有設備與服務的提供方?？蛻魶Q策者負責整個上線的組織和領導工作，上線期間重大事項的決策?？蛻繇椖拷?jīng)理負責組織、實施、監(jiān)督、控制、協(xié)調、匯報整個上線過程的確認工作。負責工程進度確認，和偏差調整的確認?？蛻繇椖砍蓡T負責對具體負責模塊的準備、運行、檢查確認工作?？蛻魳I(yè)務部門負責上線過程中涉及的相關需求、業(yè)務指標的確認工作。表：項目干系人列表項目組織管理為了確保承建系統(tǒng)的工作進度，經(jīng)公司高層決策從公司各部門抽調核心員工，組建完成一套有效的項目組織架構，用以貫徹工程意圖，作為順利進行工程實施的重要條件和保證。在此基礎上還需要行方協(xié)調相關友商密切配合，高效溝通，合理利用資源，以使項目取得最后的成功。項目團隊采取了多層次的組織結構，具體人員包括以下部分：項目指導管理委員會、項目管理組、業(yè)務咨詢組、需求分析組、產(chǎn)品配置組、模型組、架構組、數(shù)據(jù)質量組、ETL組、前端展現(xiàn)組、測試組、非數(shù)據(jù)開發(fā)組等。派遣在現(xiàn)場支持、實施的工作人員，應當嚴格遵守用戶提出的本單位外部人員管理規(guī)章制度的相關要求。組織結構圖圖組織結構圖職責說明針對本工程組織結構中的人員構成和職責分工描述如下：1、組織委員會人員構成：集團、公司，雙方相關部門領導各1-2人組成組長由集團方面擔任，副組長由公司方面擔任職責：負責項目組織、項目計劃的審核與批準；負責項目組織調整與計劃調整的審核和批準；負責項目組、現(xiàn)場及相關部門之間的資源組織與協(xié)調；根據(jù)項目要求，與高層溝通與協(xié)調；指導與監(jiān)督項目計劃的執(zhí)行。2、專家組人員構成：專家組由技術管理委員會資深專家葉鵬、馬松、張磊、喬凱先生負責，負責項目重大問題的技術決策、公司研發(fā)資源協(xié)調。職責：負責項目總體技術方案的規(guī)劃、設計與控制；負責項目技術方案的評審，重大技術問題攻關；負責項目各系統(tǒng)技術方向的決策、指導與監(jiān)控；負責執(zhí)行各類技術評審；負責軟件之間集成、硬件分配、軟件數(shù)據(jù)集成方案的制定；3、實施組項目管理組人員構成：集團、公司項目經(jīng)理，項目關鍵干系人由集團項目經(jīng)理和項目經(jīng)理擔任組長職責：根據(jù)項目進展及工作要求制定工作計劃，并監(jiān)督實施，控制進度。協(xié)調項目組內人員的分工合作，資源分配。提出并確立業(yè)務整體需求，完成系統(tǒng)分析和系統(tǒng)整體設計。定期向項目領導小組匯報項目進度情況。負責制定階段驗收標準和最終驗收標準，報領導小組審批。行使變更控制委員會的職能。需求分析及設計組人員構成：由公司需求分析、系統(tǒng)設計專家組成公司需求分析、系統(tǒng)設計負責人擔任組長職責：與客戶溝通，獲取客戶需求，編寫需求說明書；分析客戶需求，編寫需求分析文檔；建立業(yè)務模型和系統(tǒng)模型；跟蹤系統(tǒng)開發(fā)進度；制定系統(tǒng)總體功能測試方案，并參與測試；協(xié)助項目經(jīng)理，開發(fā)經(jīng)理，測試經(jīng)理完成項目計劃的制定；協(xié)助測試工程師完成測試用例的編寫；支持系統(tǒng)用戶。開發(fā)組人員構成：由公司系統(tǒng)開發(fā)、集成工程師組成公司產(chǎn)品經(jīng)理負責人擔任組長職責：云服務平臺安裝、部署、代碼調整；Hadoop平臺安裝、部署、代碼調整；數(shù)據(jù)治理產(chǎn)品安裝、部署、代碼調整；ETL產(chǎn)品安裝、部署、代碼調整；自助分析產(chǎn)品安裝、部署、代碼調整；數(shù)據(jù)探索產(chǎn)品安裝、部署、代碼調整；爬蟲引擎產(chǎn)品安裝、部署、代碼調整；圖像識別工具產(chǎn)品安裝、部署、代碼調整；全文檢索工具安裝、部署、代碼調整；DataHub產(chǎn)品安裝、部署、代碼調整；企業(yè)畫像產(chǎn)品安裝、部署、代碼調整；產(chǎn)品配置組人員構成：配置工程師組成職責：根據(jù)項目的《項目計劃》，制定《配置管理計劃》搭建配置管理環(huán)境；按照《配置管理計劃》，建立和維護項目配置庫、組織配置庫；建立和維護配置庫的訪問權限；按配置管理計劃，對配置項進行版本控制；定期對項目進行配置\o"深圳審計工資"審計；對項目組成員進行配置管理的相關培訓和指導。測試組根據(jù)項目計劃編寫測試計劃；選擇使用的測試工具；根據(jù)需求規(guī)格說明書設計測試數(shù)據(jù)和測試用例；編寫測試腳本；實施軟件測試，并對軟件問題進行跟蹤分析和報告，推動測試中發(fā)現(xiàn)問題及時合理地解決；跟蹤bug的修改情況；提出對軟件的進一步改進的要求和評估改進方案是否合理。4、運維組驗收后負責保障產(chǎn)品的正常運行，及時發(fā)現(xiàn)系統(tǒng)或集成環(huán)境的故障并協(xié)調解決。負責數(shù)據(jù)備份與恢復工作負責客戶的咨詢工作，回答客戶使用問題項目組人員簡介人員總體介紹姓名性別年齡學歷專業(yè)相關工作年限本項目中擔任的角色本項目中的任務描述張磊男35本科計算機科學與技術8年項目經(jīng)理項目經(jīng)理，主要負責督導平臺產(chǎn)品部署、應用設計管理、應用開發(fā)人員的日常管理、工作分配，對整個項目的開展進度/功能需求/完成效果/平臺的客戶滿意度負責等工作任務葉鵬男35本科信息與計算科學13年技術經(jīng)理技術經(jīng)理，主要負責大數(shù)據(jù)云服務平臺及企業(yè)客戶畫像的技術架構設計，并承擔大數(shù)據(jù)云服務平臺核心模塊的開發(fā)工作，帶領開發(fā)團隊完成客戶需求調研，平臺的設計，以及相關的功能實現(xiàn)等工作任務馬松男33本科計算機體系結構7年架構師架構設計，主要負責大數(shù)據(jù)云服務平臺的技術架構設計，并承擔核心模塊的開發(fā)工作，配合技術經(jīng)理及開發(fā)團隊完成客戶需求調研，平臺的設計，以及相關的功能實現(xiàn)等工作任務蔣樂男31本科計算機科學與技術9年架構師架構設計，主要負責企業(yè)客戶畫像的技術架構設計，并承擔核心模塊的開發(fā)工作，配合技術經(jīng)理及開發(fā)團隊完成客戶需求調研，應用的開發(fā)設計，以及相關的功能實現(xiàn)等工作任務夏建東男41碩士信息與計算科學17年架構師架構設計，主要負責大數(shù)據(jù)云服務平臺的技術架構設計，并承擔核心模塊的開發(fā)工作，配合技術經(jīng)理及開發(fā)團隊完成客戶需求調研，平臺的設計，以及相關的功能實現(xiàn)等工作任務張麗女35本科信息與計算科學10年開發(fā)工程師代碼開發(fā)，主要負責大數(shù)據(jù)方面相關的核心模塊開發(fā)及設計等工作任務陳亮男35本科信息工程12年開發(fā)工程師代碼開發(fā)，主要負責元數(shù)據(jù)、ETL方面相關的核心模塊開發(fā)及設計等工作任務楊若彬男32本科計算機科學與技術8年開發(fā)工程師代碼開發(fā)，主要負責企業(yè)客戶畫像方面相關的核心模塊開發(fā)及設計等工作任務王福旺男30本科信息管理與信息系統(tǒng)7年開發(fā)工程師代碼開發(fā)，主要負責云服務方面相關的核心模塊設計及開發(fā)等工作任務劉宇星男32本科計算機科學與技術7年開發(fā)工程師代碼開發(fā)，主要負責大數(shù)據(jù)方面相關的核心模塊開發(fā)及設計等工作任務姓名性別年齡學歷專業(yè)相關工作年限本項目中擔任的角色本項目中的任務描述喬凱男33本科計算機科學與技術7年開發(fā)工程師代碼開發(fā)，主要負責元數(shù)據(jù)、ETL方面相關的核心模塊開發(fā)及設計等陳杰男29本科計算機科學與技術7年開發(fā)工程師前臺開發(fā)，主要負責企業(yè)客戶畫像方面相關的前臺開發(fā)及設計工作等劉海龍男28?？埔苿油ㄐ偶夹g6年開發(fā)工程師前臺開發(fā)，主要負責大數(shù)據(jù)云服務方面相關的前臺開發(fā)及設計工作等胡維達男29本科計算機科學與技術6年開發(fā)工程師前臺開發(fā)，主要負責企業(yè)客戶畫像方面相關的前臺開發(fā)及設計工作等米慶安男29碩士計算機科學與技術5年測試工程師系統(tǒng)測試，主要負責完成系統(tǒng)的前臺功能和后臺功能的在開發(fā)環(huán)境和測試環(huán)境中的集成測試等工作任務張晨女28本科網(wǎng)絡工程5年測試工程師系統(tǒng)測試，主要負責完成系統(tǒng)的前臺功能和后臺功能的在開發(fā)環(huán)境和測試環(huán)境中的集成測試等工作任務馮正榮男29本科信息與計算科學2年測試工程師系統(tǒng)測試，主要負責完成系統(tǒng)的前臺功能和后臺功能的在開發(fā)環(huán)境和測試環(huán)境中的集成測試等工作任務鄧盛飛男25本科計算機科學與技術2年測試工程師系統(tǒng)測試，主要負責完成系統(tǒng)的前臺功能和后臺功能的在開發(fā)環(huán)境和測試環(huán)境中的集成測試等工作任務李小偉男20?？朴嬎銠C科學與技術2年配置工程師配置管理，主要負責搭建配置管理環(huán)境，建立和維護項目、組織配置庫，完成生產(chǎn)環(huán)境準備和上線相關文檔手冊等工作任務人員簡歷姓名張磊性別男出生年月1981/6籍貫（皖）六安照片學歷本科畢業(yè)院校及專業(yè)安徽大學（計算機科學與技術）目前駐地南京參加工作時間2008.7工作年限8身份證號后4位417X電子郵件zhanglei26@聯(lián)系方式159-5194-9700公司名稱科技（中國）有限公司技術特長和職稱java工作經(jīng)歷起止時間公司名稱職務2010/3-2011/5蘇州沈蘇自動化技術有限公司java軟件開發(fā)工程師2011/7-2012/03欣網(wǎng)視訊南京科技有限公司java軟件開發(fā)工程師2012/5-至今科技有限公司java軟件開發(fā)工程師以上資料屬實。（外包公司蓋章）商務代表：聯(lián)系電話：項目經(jīng)驗公司名稱項目起止時間參與項目周期(月)項目中承擔職責（項目管理/數(shù)據(jù)分析/模型設計/架構設計/開發(fā)/測試）科技2012/5—至今51開發(fā)欣網(wǎng)視訊南京科技有限公司2011/7—2012/36開發(fā)蘇州沈蘇自動化技術有限公司2010/32011/515開發(fā)項目一：2016/3—至今：ECAP產(chǎn)品開發(fā)軟件環(huán)境： java，spring，mybatis，ehcache，ftl，echarts，jquery等開發(fā)工具： eclipse，tomcat，navicat項目描述： 是專業(yè)網(wǎng)站流量監(jiān)測、統(tǒng)計分析的工具，旨在對網(wǎng)站流量的來源、用戶行為、廣告投放等做深入的分析，以發(fā)現(xiàn)用戶訪問網(wǎng)站和購買商品的規(guī)律，為網(wǎng)站引流、廣告投放、運營效益提升提供策略依據(jù).責任描述： 開發(fā)項目二：2015/5—2016/3：海爾量子恒道系統(tǒng)軟件環(huán)境： java，spring，ibatis，redis，dubbo，zookeeper，ftl，highcharts，jquery等開發(fā)工具： eclipse，tomcat，plsql項目描述： 對網(wǎng)站流量的來源、用戶行為、廣告投放等做深入的分析責任描述： 開發(fā)項目三：2012/5—2015/5：聯(lián)通電子渠道分析系統(tǒng)軟件環(huán)境： java，struts，jsp，amcharts，dojo等開發(fā)工具： eclipse，tomcat，plsql項目描述： 借鑒市場中成熟的商城分析體系（淘寶量子恒道統(tǒng)計、淘寶魔方統(tǒng)計等），依托先進的數(shù)據(jù)采集分析工具，分析商城運營短板并結合現(xiàn)有商城運營需求，來規(guī)劃建設分析體系與分析系統(tǒng)。為運營提供堅實的數(shù)據(jù)依據(jù)，逐步實現(xiàn)電子渠道的數(shù)據(jù)化運營和精準化運營。責任描述： 開發(fā)項目四：2012/05—2015/5:聯(lián)通商城推薦系統(tǒng)軟件環(huán)境： java，redis,webservice，servlet等開發(fā)工具： Tomcat,Eclipse項目描述：推薦給用戶可能最感興趣的商品，幫助商城提高銷售業(yè)績。責任描述： 開發(fā)項目五：2011/7—2012/3：無線城市、智慧旅游軟件環(huán)境： java，spring，hibernate，jsp，jquery，oracle等開發(fā)工具： Tomcat,Eclipse項目描述：無線城市：便民應用；新聞閱讀等；智慧旅游：旅游推薦查詢、酒店預訂、精品旅游等。責任描述： 開發(fā)項目六：2010/03—2011/5:蘇州市疾控網(wǎng)絡直報；山東居民健康檔案軟件環(huán)境： java，struts，spring，hibernate，jsp，ext，oracle等開發(fā)工具： Tomcat,Eclipse，plsql項目描述： 州市疾控網(wǎng)絡直報：各個疾控中心要上報的報表管理；山東居民健康檔案：居民健康信息管理責任描述： 開發(fā)專業(yè)特長、獲獎及培訓情況熟練掌握常用Java語言及相關開發(fā)技術，熟知常見的java設計模式。熟練掌握sql語言,熟悉js、css、jsp、jquery、ext、dojo等頁面技術。無填表說明職務：開發(fā)工程師角色：開發(fā)目前駐地：南京姓名葉鵬性別男出生年月1981/3籍貫新疆照片學歷本科畢業(yè)院校及專業(yè)新疆大學信息與計算科學目前駐地北京參加工作時間2003工作年限13身份證號后4位0013電子郵件yepeng_xj@163.com聯(lián)系方司名稱科技（中國）有限公司技術特長和職稱工作經(jīng)歷起止時間公司名稱職務2003/07--2006/06烏魯木齊市商業(yè)銀行程序員2006/06--2010/05新疆移動系統(tǒng)工程師2010/06--2015/08新疆移動技術專家2015/09--至今北京智慧數(shù)據(jù)科技有限公司技術經(jīng)理以上資料屬實。（外包公司蓋章）商務代表：聯(lián)系電話：項目經(jīng)驗公司名稱項目起止時間參與項目周期(月)項目中承擔職責（項目管理/數(shù)據(jù)分析/模型設計/架構設計/開發(fā)/測試）新疆移動經(jīng)分NG2-4架構優(yōu)化2013/02--2013/119架構設計/模型設計/開發(fā)新疆移動經(jīng)分NG2-3.5工程前端優(yōu)化項目2011/06--2012/0410架構設計/模型設計/開發(fā)新疆移動VGOP1.0系統(tǒng)建設工程2009/11--2010/1113架構設計/模型設計/開發(fā)項目一：2013/02--2013/11新疆移動經(jīng)分NG2-4架構優(yōu)化責任描述：

項目負責人，完成架構優(yōu)化方案的制定，跟蹤項目進度，協(xié)調項目過程中各項工作，對架構優(yōu)化效果進行評估。項目簡介：

項目主要是在目前數(shù)據(jù)倉庫后臺“小型機+大存儲”模式下擴容、運維成本越來越高，同時業(yè)務部門對數(shù)據(jù)倉庫應用開發(fā)、數(shù)據(jù)處理及時性要求越來越高的雙充壓力下進行的，項目主要包括：1、X86MPP數(shù)據(jù)庫軟件測試、選型；2、倉庫中間層邏輯模型優(yōu)化；3、經(jīng)分應用分級三部門組成，其中X86MPP數(shù)據(jù)庫測試主要是為選擇高效低成本的倉庫架構進行初步探索，倉庫中間層邏輯模型優(yōu)化主要是為了將經(jīng)分應用層與數(shù)據(jù)層進行解耦，減低應用開發(fā)過程中直接從底層接口取數(shù)比例；經(jīng)分應用分級主要是為了保障重點應用重點保障的需要，根據(jù)應用使用范圍、應用點擊量、顯著位置展示、領導推送指標等維護將經(jīng)分應用劃分為若干等級，制定不同的保障級別。以在現(xiàn)有硬件資源條件下更好的保障重點應用及時性需要。項目二：2011/06--2012/04新疆移動經(jīng)分NG2-3.5工程前端優(yōu)化項目責任描述：

項目負責人，主要負責通過整理常見運維問題、地址一線調研等方法收集經(jīng)分前端使用短板和缺陷，形成前端優(yōu)化目標和優(yōu)化方案，制定優(yōu)化計劃，跟蹤優(yōu)化進度，組織業(yè)務部門驗收，向一線推廣工作。項目簡介：

該項目是在現(xiàn)有經(jīng)分前端已經(jīng)使用4年的情況下，越來越多的用戶反映在使用過程中存在許多不方便情況，為此特別在新疆移動經(jīng)分NG2-3.5工程中增加了前端優(yōu)化子項目，主要包括引入自助分析功能、經(jīng)分觀察站功能、完善目標客戶即席查詢框架、完善經(jīng)營作戰(zhàn)圖功能等幾個方面，項目中除了對一線經(jīng)常使用的功能進行了完善，還引入了自助分析功能可以讓業(yè)務人員自助的基于KPI指標完成日常報表、報告的制作，制作數(shù)據(jù)可以通過自助分析功能推送的執(zhí)行項目三：2009/11--2010/11新疆移動VGOP1.0系統(tǒng)建設工程責任描述：

項目負責人，主要負責項目組織業(yè)務部門完成VGOP1.0需求確認，組織硬件維護部門完成設備安裝，跟蹤、匯報項目進度，組織業(yè)務部門進行驗收測試，協(xié)助業(yè)務部門進行VGOP系統(tǒng)推廣。項目簡介：

VGOP（數(shù)據(jù)業(yè)務運營平臺）1.0項目，是由移動集團執(zhí)行規(guī)范，由各省公司負責建設的兩級數(shù)據(jù)業(yè)務運營平臺，主要完成：1、各數(shù)據(jù)業(yè)務平臺用戶行為數(shù)據(jù)接入，移動集團基地業(yè)務由一級VGOP接入，然后用戶兩級互動接口下發(fā)用戶行為數(shù)據(jù)，省內自建數(shù)據(jù)增值業(yè)務平臺由省級VGOP平臺接入；2、數(shù)據(jù)業(yè)務發(fā)展監(jiān)控、稽核；3、數(shù)據(jù)業(yè)務營銷支撐；4、業(yè)務部門運營流程支撐。項目四：2009/02--2010/02移動集團地市數(shù)據(jù)挖掘應用項目責任描述：

項目經(jīng)理，主要負責應用方案制定，時間進度控制，定時向移動集團公司、新疆公司匯報項目進度。項目簡介：

移動集團地市數(shù)據(jù)挖掘試點項目是由移動集團公司組織，由各省市分公司負責執(zhí)行的數(shù)據(jù)挖掘應用推廣項目，主要是為了驗證數(shù)據(jù)挖掘應用在解決一線實際問題中發(fā)揮的作用，新疆公司選擇石河子分公司作為試點單位，具體課題選擇為通過構建客戶-產(chǎn)品-渠道（CPC）適配模型來提高數(shù)據(jù)業(yè)務營銷成功率。專業(yè)特長、獲獎及培訓情況C語言；SQL；AIX；DB2國家英語4級填表說明職務：技術經(jīng)理角色：管理運維團隊，保障系統(tǒng)穩(wěn)定運行，協(xié)同完成平臺升級、故障處理等工作。目前駐地：北京姓名馬松性別男出生年月1983/9籍貫西安照片學歷碩士畢業(yè)院校及專業(yè)西安電子科技大學計算機體系結構目前駐地西安參加工作時間2009工作年限7身份證號后4位611X電子郵件masong@聯(lián)系方司名稱北京智慧數(shù)據(jù)科技有限公司技術特長和職稱高級研發(fā)經(jīng)理工作經(jīng)歷起止時間公司名稱職務2009/4-2013/05中興通訊股份有限公司軟件工程師/科長2013.5~2014.11IBMCSTLPlatformComputing軟件工程師2014.11~2015.09華為技術有限公司大數(shù)據(jù)系統(tǒng)工程師2015/10–今北京智慧數(shù)據(jù)科技有限公司)高級研發(fā)經(jīng)理以上資料屬實。（外包公司蓋章）商務代表：聯(lián)系電話：項目經(jīng)驗公司名稱項目起止時間參與項目周期(月)項目中承擔職責（項目管理/數(shù)據(jù)分析/模型設計/架構設計/開發(fā)/測試）尋醫(yī)問藥-院方全流程項目2016/05-2016/051架構設計/模型設計/開發(fā)公司3項主要業(yè)務的環(huán)境部署以及app代碼上線2015/06-2015/104架構設計/模型設計/開發(fā)北京電信IVPN容災項目2013/06-2014/028架構設計/模型設計/開發(fā)項目一：2015.10~今數(shù)據(jù)高級研發(fā)經(jīng)理工作內容:建立橘云產(chǎn)品線西安研發(fā)團隊;銀行業(yè)與運營商行業(yè)的售前工作;OCDP（大數(shù)據(jù)平臺）/OCSP（流平臺）產(chǎn)品的設計，開發(fā)，交付，運維;OC-ETL/OC-NoSQL產(chǎn)品運維;研發(fā)，維護團隊管理;與BI（商業(yè)智能）以及DACP（數(shù)據(jù)治理）產(chǎn)品的融合對接;項目:中國移動湖北、山東、重慶、內蒙、青海、遼寧省公司大數(shù)據(jù)平臺;山東移動流處理平臺;陜西移動云詳單，位置運營平臺;中信銀行實時風控（進行中）;項目二：2014.11~2015.09華為技術有限公司大數(shù)據(jù)系統(tǒng)工程師工作內容:FI的設計與開發(fā)工作;華為SQLonHadoop文件解析引擎;廣東移動POC，完成多租戶與調度器集成功能;項目三：2013.5~2014.11IBMCSTLPlatformcomputing軟件工程師工作內容:IBMPlatformComputingSymphony內核開發(fā)；項目四：2009.4～2013.05中興通訊西安研發(fā)中心科長/ScrumMaster工作內容：LTE控制面重構(Refactor)與再工程(Reengineering),ThoughtWorks提供兩年駐場咨詢；LTERNLC/RRM首個敏捷開發(fā)團隊組建；海外開局/巴塞展GSMAMobileWorldCongress2011；LTEV2.1控制面集成經(jīng)理專業(yè)特長、獲獎及培訓情況基于大數(shù)據(jù)的online/offline分析系統(tǒng)在運營商和銀行業(yè)的的應用，工作內容涉及售前，系統(tǒng)設計與運維；分布式系統(tǒng)理論;Scrum團隊管理能力；超大規(guī)模電信軟件開發(fā)與重構;極限編程實踐,包含測試驅動開發(fā)，結對編程，簡單設計和持續(xù)集成；LTE無線技術;英語流利；填表說明職務：角色：目前駐地：西安姓名蔣樂性別男出生年月1985/11籍貫湖南照片學歷本科畢業(yè)院校及專業(yè)北京大學（計算機科學與技術）目前駐地北京參加工作時間2008工作年限9身份證號后4位1215電子郵件jiangle@聯(lián)系方司名稱北京智慧數(shù)據(jù)科技有限公司技術特長和職稱系統(tǒng)架構師工作經(jīng)歷起止時間公司名稱職務2008/12-2013/5北京直真科技股份有限公司高級軟件工程師2013/5-至今北京智慧數(shù)據(jù)科技有限公司系統(tǒng)架構師以上資料屬實。（外包公司蓋章）商務代表：聯(lián)系電話：項目經(jīng)驗公司名稱項目起止時間參與項目周期(月)項目中承擔職責（項目管理/數(shù)據(jù)分析/模型設計/架構設計/開發(fā)/測試）北京智慧數(shù)據(jù)科技有限公司2013/5—至今36架構設計/數(shù)據(jù)探索/智能推薦北京直真科技股份有限公司2008/12-2013/548架構設計/模型設計/項目管理/數(shù)據(jù)分析項目一：2015/08—至今:央視影音-智能推薦引擎（數(shù)據(jù)探索和用戶畫像相關）軟件環(huán)境： Hadoop、Redis開發(fā)工具： Python、R、Hive、Java項目描述：通過用戶行為信息分析，構建以用戶為中心的內容推薦系統(tǒng)，幫助用戶從海量節(jié)目中找到自己喜歡的內容。內容推薦系統(tǒng)的部署，整合了央視媒體的海量內容資源，實現(xiàn)了各渠道的個性化推薦能力。1、 構建大數(shù)據(jù)量、高并發(fā)量內容推薦系統(tǒng)平臺。設計多層數(shù)據(jù)分析模型，平緩各層處理壓力；在優(yōu)化后的內核系統(tǒng)上，采用redis+cache的多級緩存技術，構建一個滿足CNTV國慶、春晚等大型活動的個性化推薦引擎。最終，通過50臺外網(wǎng)服務器云壓力測試，處理能力達6萬TPS(標書要求5萬TPS)。2、 設計個性化推薦模型，劇集頁下轉化率超3%，達到業(yè)界標桿?；谘胍暚F(xiàn)狀，并對外部推薦標桿企業(yè)調研，設計新品推薦模型、熱門推薦模型、協(xié)同過濾推薦模型、靜態(tài)物物模型、動態(tài)關聯(lián)模型。通過采用動靜結合的關聯(lián)算法+優(yōu)化后的協(xié)同過濾算法+用戶畫像的組合推薦模型，實現(xiàn)劇集頁下轉化率超3%，達到業(yè)界標桿(基于樂視、愛奇藝、今日頭條等標桿企業(yè)調研，轉化率約3%)，深受客戶認可。3、 項目管理工作及客戶交流。通過任務與人員的合理分配、內部和外部工作的有效協(xié)調，確保在部門人員、項目周期緊張的情況下，系統(tǒng)順利上線、驗收。通過客戶培訓、疑難問題解決，方案探討等交流形式，加深雙方信任，也對后續(xù)工作開展創(chuàng)造了良好的辦公環(huán)境。責任描述：開發(fā)、項目管理、客戶交流。項目二：2014/08—2015/12：數(shù)據(jù)探索平臺(MineData)（數(shù)據(jù)挖掘和探索相關）軟件環(huán)境： CentOs6.4x64、Hadoop/Spark、Hive開發(fā)工具： Python、Spss/R、Sql項目描述：基于分布式處理平臺，借助開源算法框架，打造一個面向特定行業(yè)、特定場景、提供成熟數(shù)據(jù)探索模型和自助探索工具。1、數(shù)據(jù)挖掘引擎架構設計，組織應用開發(fā)。設計基于相關性+決策樹的流量驅動因素分析模型；基于協(xié)同過濾的個性化應用推薦模型；基于URL+UA+IMEI三碼合一的惡意刷機模型；基于KNN+時間序列預測的套餐推薦模型；基于文本分詞+SVM算法的客戶投訴模型；基于決策樹的4G用戶流失/增長預測模型等)2、基于hadoop/Spark平臺，實現(xiàn)分布挖掘算法的探索、編碼；在hadoop/Spark平臺上，通過Rhadoop、Rspark接口，借助開源R平臺(算法多，并持續(xù)優(yōu)化中)，集成并設計分布式挖掘算法，克服mahout、sparkML算法模型偏少的問題。3、多樣數(shù)據(jù)源梳理、整合，制定產(chǎn)品實施方案；通過以往工作經(jīng)驗，梳理、整合O、B、M域數(shù)據(jù)，增加挖掘平臺可用指標，提升算法模型分析的客觀性、精準性。4、團隊日常管理及外部培訓責任描述： 架構設計、組織開發(fā)、團隊管理、外部培訓。項目三：2013/09—2014/07用戶行為數(shù)據(jù)實時融合感知項目（用戶畫像相關）軟件環(huán)境： linux-開發(fā)工具： Gcc、Gdb項目描述：1、通過對網(wǎng)絡鏈路的旁路監(jiān)聽，利用包檢測/流檢測技術實現(xiàn)網(wǎng)絡報文的業(yè)務感知，為流量經(jīng)營提供多維度、精準、超細化的用戶行為數(shù)據(jù)。2、本產(chǎn)品主要功能包含：多域數(shù)據(jù)采集功能(PS/CS/LTE等)、深度應用識別能力(入口/協(xié)議/應用/功能)、多維度感知能力(終端/位置/流向/內容/業(yè)務/用戶/時間等)、完善的應用規(guī)則庫/樣本庫、自動探查能力等。責任描述：需求梳理、架構設計、模型開發(fā)、團隊管理項目四：2013/05—2015/09：流量經(jīng)營項目（數(shù)據(jù)挖掘相關）軟件環(huán)境： DB2、VoltDB開發(fā)工具： dbvisualizer項目描述：1、通過獲取流量、識別流量，增強用戶上網(wǎng)內容數(shù)據(jù)、業(yè)務數(shù)據(jù)、位置數(shù)據(jù)、網(wǎng)絡數(shù)據(jù)、流量數(shù)據(jù)、流向數(shù)據(jù)，實時把握用戶動態(tài)的、復雜的和碎片化的需求行為特征，根據(jù)用戶的內容/業(yè)務偏好，為用戶提供符合需求的及時化和常態(tài)化服務；2、基礎能力體現(xiàn)：采集能力、識別能力(業(yè)務/內容/終端/流向/位置/網(wǎng)絡)、客戶洞察能力(業(yè)務偏好/內容偏好/時間偏好)、專題能力、營銷與服務能力(熱點短信/手機沖浪運營支撐)。責任描述： 模型設計，開發(fā)項目五：2010/01—2011/09：端到端信令跟蹤及數(shù)據(jù)采集系統(tǒng)（數(shù)據(jù)挖掘相關）軟件環(huán)境： RedHat5.3x64開發(fā)工具： gcc、gdb等項目描述：1、隨著智能終端的高速發(fā)展，移動上網(wǎng)業(yè)務呈現(xiàn)多樣性，導致分組域流量日益增加。如何快速解決用戶投訴及上網(wǎng)故障、分析業(yè)務流量占比、網(wǎng)絡質量檢測、提高用戶感知等問題，成為運營商迫切需要解決的問題。2、針對移動、聯(lián)通分組域，參考點環(huán)節(jié)多、故障難以定位的特點，本項目分為二期：一期針對GN、GI口進行業(yè)務數(shù)據(jù)DPI分析、信令跟蹤及質量分析。二期逐步接入Gb/Iups、Gw、彩信等特定參考點流量，進行端到端業(yè)務及信令分析。3、本項目在功能上具有鏈路流量分析、全業(yè)務流量分析、綜合質量分析、熱點基站分析、網(wǎng)站排行分析、信令跟蹤及故障分析、用戶行為分析等功能。責任描述： 模型設計，開發(fā)，數(shù)據(jù)挖掘專業(yè)特長、獲獎及培訓情況專業(yè)特長：熟練掌握c、c++、java等編程語言，shell、python等腳本語言；熟悉相關機器學習算法原理，能通過R語言實現(xiàn)單機、分布式(Rhadoop/Rspark)機器學習算法；熟悉oracle、db2、hive等數(shù)據(jù)庫，并具備電信級大數(shù)據(jù)處理經(jīng)驗；具備獨立組織團隊開發(fā)、實施的項目經(jīng)驗。培訓情況：2008/6--2008/10港灣網(wǎng)絡 Linux內核、Linux驅動、QT等 嵌入式軟件工程師基于ARM芯片，進行內核移植，以藍牙為通信媒介，驅動溫濕度、煙感、GSM、指紋識別等模塊，開發(fā)一套智能家居系統(tǒng)。填表說明職務：架構設計師、數(shù)據(jù)挖掘專家角色：設計、開發(fā)、架構、數(shù)據(jù)挖掘、模型設計目前駐地：北京姓名夏建東性別男出生年月1975/8籍貫山東.泰安學歷碩士畢業(yè)院校及專業(yè)西安石油大學（計算機體系結構研究）目前駐地西安參加工作時間1998年工作年限17身份證號后4位3694電子郵件xiajd@聯(lián)系方司名稱科技（中國）有限公司技術特長和職稱工作經(jīng)歷起止時間公司名稱職務2007/6-2013/6ObjectivaSoftwaresolutionsTechniqueLead,Principalengineer2013/5-2016/4IBMCognosBITechLead2016/5-至今科技有限公司大數(shù)據(jù)應用工程師以上資料屬實。（外包公司蓋章）商務代表：聯(lián)系電話：項目經(jīng)驗公司名稱項目起止時間參與項目周期(月)項目中承擔職責（項目管理/數(shù)據(jù)分析/模型設計/架構設計/開發(fā)/測試）數(shù)據(jù)2016/5—現(xiàn)在4架構設計/模型設計/開發(fā)IBMBA20013/5—2016/436架構設計/模型設計/開發(fā)奧博杰天軟件2007/102013/520架構設計/模型設計/開發(fā)項目—：2016/5-2016/6軟件環(huán)境：橘云4.0平臺（Hadoop，Hive，Hbase,Zookeeper等)，Spark1.6andSpark2.0preview,JavaSDK，Scala11.8項目描述：SparkSQL性能測試責任描述：橘云4.0環(huán)境搭建，數(shù)據(jù)準備加載分析，性能優(yōu)化（executor，mem,tasks優(yōu)化等）項目二：2016/7-2016/8軟件環(huán)境：橘云大數(shù)據(jù)平臺OCDP4.0Spark1.6andSpark2.0preview項目描述:SparkSql流入庫性能測試，Hbase入庫測試，大數(shù)據(jù)情況下的二級索引（Indexing），大量小文件存儲問題。項目責任：開發(fā)代碼實現(xiàn)測試邏輯（流入庫，Hbase入庫等），大數(shù)據(jù)平臺下的數(shù)據(jù)調優(yōu)項目三：2013/3—2014/6：軟件環(huán)境： CQM,DQM,Hive，數(shù)據(jù)處理等項目描述： LeadCQM和DQM研發(fā)和維護,主持和Ottawa數(shù)據(jù)team的周會,架構CognosTitan版本的Adminwebservice開發(fā)和實現(xiàn)責任描述： 架構設計，模型設計，開發(fā)項目四：20114/7—2015/7：CognosTitanBItechnique-refresh軟件環(huán)境： WebSphere15.4,JavaSDK1.7,AgularJS,ApacheLdap等開發(fā)工具： eclipse項目描述： Cognos產(chǎn)品技術更新，采用業(yè)界最新的技術，從新架構和實現(xiàn)不同的模塊責任描述： 架構設計，模型設計，開發(fā)項目五：2014/7—2015/7：Spark分析平臺+BI研究軟件環(huán)境： Spark1.6，CognosTitanBI開發(fā)工具： eclipse+ApacheTomcat7項目描述： 研究如何整合CognosBI和Spark集成的問題責任描述： POC架構設計，模型設計，開發(fā)2013/05-2014/03項目六：CognosBIDrumService軟件環(huán)境：Java,GuiceDIframework,ApacheTomcat,GlassFishserver,JerseyRestfulWebServices,MavenBuildingsystem,Plug-inbasedextendableArchitecture責任描述：TechLead，后臺Service開發(fā)項目七：2012/7-2013/5:訂單處理系統(tǒng)軟件環(huán)境：MVC,SOAarchitecture,PayPalintegration,TFS,PexandMoles,SqlServer2008R2,SSL,VC++,STL,COM責任描述：架構，客戶溝通，TechLead等項目八：Paypal系統(tǒng)集成2012/01-2012/07軟件環(huán)境：MVC,SOAarchitecture,PayPalintegration,TFS,PexandMoles,SqlServer2008R2,SSL,VC++,STL,COM責任描述：TechLead,軟件架構，客戶溝通等項目九：嵌入式本地化項目2011/01-2012/05軟件環(huán)境：EmbeddedLinuxSystem,ucOSSystem,OpenEmbedded,BitBake,OMAPARM,ChineseFontlibrary,EmbeddedQt,TouchScreen,C++,C#,Unicode,UTF-8責任描述：Techlead,用戶溝通等專業(yè)特長、獲獎及培訓情況2012-06-01-->2016-09-05IBMPMP項目管理PMP證書2013-09-10-->2013-09-13IBMLeadershipLeaderShip證書2009-10-12-->2009-10-16MicrosoftTech-ed2009Training微軟技術培訓2006-10-25-->2006-10-31EmbeddingSystemTraining(China)嵌入式系統(tǒng)培訓無2010-08-02-->2010-08-02軟件工程師中級職稱職稱評定軟件工程師中級職稱第一外語/級別CET6應用軟件架構技術，Java，C++，數(shù)據(jù)庫開發(fā)，數(shù)據(jù)挖掘等填表說明職務：大數(shù)據(jù)應用工程師角色：設計、開發(fā)、架構目前駐地：西安姓名張麗性別女出生年月1981/2籍貫北京照片學歷本科畢業(yè)院校及專業(yè)北京理工大學目前駐地北京參加工作時間2006工作年限10身份證號后4位電子郵件maymayzl@163.com聯(lián)系方司名稱科技（中國）有限公司技術特長和職稱Java，Hadoop工作經(jīng)歷起止時間公司名稱職務2009.8～至今北京智慧數(shù)據(jù)科技有限公司（原科技中國有限公司）高級開發(fā)工程師2006.4～2009.8日電卓越軟件科技（北京）有限公司（NEC-AS）高級開發(fā)工程師以上資料屬實。（外包公司蓋章）商務代表：聯(lián)系電話：項目經(jīng)驗公司名稱項目起止時間參與項目周期(月)項目中承擔職責（項目管理/數(shù)據(jù)分析/模型設計/架構設計/開發(fā)/測試）北京智慧數(shù)據(jù)科技有限公司2009.10—現(xiàn)在70架構設計/模型設計/開發(fā)【項目】橘云產(chǎn)品OCNoSql產(chǎn)品和項目的開發(fā)—數(shù)據(jù)（2013.10—現(xiàn)在）【項目描述】該產(chǎn)品是基于hadoop和hbase上開發(fā)的一套云詳單查詢系統(tǒng)，實現(xiàn)大數(shù)據(jù)環(huán)境下詳單查詢的快速響應能力?！韭氊熋枋觥控撠煵樵儤I(yè)務相關java程序的設計、開發(fā)；稽核相關功能MapReduce程序的設計、開發(fā)、調試等工作；負責新舊集群并行查詢等功能的設計、開發(fā)?！局饕夹g】hadoop、hdfs、hbase、zookeeper、pheonix、Java、redis【項目】橘云產(chǎn)品OCNoSql產(chǎn)品和項目的開發(fā)—數(shù)據(jù)（2013.10—現(xiàn)在）【項目描述】跟蹤hadoop版本以及apache社區(qū)的版本，包括hadoop、hdfs、hbase、hive、zookeeper、spark等，發(fā)布成公司自己的開源產(chǎn)品?！韭氊熋枋觥控撠煾櫳鐓^(qū)及cloudera等公司發(fā)布的hadoop版本和patch，發(fā)布橘云自己的版本以及給現(xiàn)場提供響應patch?！局饕夹g】hadoop、hdfs、hbase、zookeeper、spark、maven、git【項目】poc測試—數(shù)據(jù)(2013.10-現(xiàn)在)【項目描述】根據(jù)局方的測試要求，利用自己公司的OCDP產(chǎn)品，通過調優(yōu)配置，達到移動要求?！韭氊熋枋觥恐饕撠焝erberos安全認證相關、配額管理、隊列調度相關調試、配置等?！局饕夹g】yarn、kerberos、shell【項目】PBOSS產(chǎn)品—科技(2010.5-2013.9)【項目描述】該產(chǎn)品主要用于處理BOSS前臺接受的定單，在后臺運維相關的工作流處理以及地址相關的管理和配置?？梢詫崿F(xiàn)對工單按照各種自定義規(guī)則進行自動派單、人工轉派、批量回單等功能、對定單按照可插拔的組件進行定單、工單合并等功能；實現(xiàn)了查詢條件、定單操作、頁面展示元素可定制等功能?！韭氊熋枋觥繐卧摦a(chǎn)品的開發(fā)小組leader，帶領組員完成多個項目的開發(fā)和支持工作，同時支持多個項目的管理和開發(fā)工作（江蘇有線、重慶有線、歌華有線、上海有線等）。在此期間做過需求調研，需求分析以及工單處理、工單轉派、地址管理等多個模塊的設計和開發(fā)工作。后期主要負責需求分析、總體設計、任務分派、進度掌控等管理溝通相關工作?！局饕夹g】Java、JSP、velocity、SQL【項目】Hadoop開源產(chǎn)品相關調研—科技(2009.10-2010.4)【項目描述】調研hadoop開源產(chǎn)品，并開發(fā)出一個實現(xiàn)ETL功能的產(chǎn)品雛形?！韭氊熋枋觥控撠烪DFS相關原理的調研；開發(fā)MapReduce實現(xiàn)group、join、select等功能。【主要技術】Java、hadoop【項目】Hydra存儲管理系統(tǒng)--NEC(2006.4-2009.9)【項目描述】大型存儲集群的管理系統(tǒng)?！韭氊熋枋觥恐饕撠烻tatus、NodeControl、NTP等模塊的設計、開發(fā)工作?！局饕夹g】Java、shell、perl、JSP專業(yè)特長、獲獎及培訓情況熟悉hadoop生態(tài)系統(tǒng)，如hadoop、hdfs、yarn、hbase基本原理，能夠獨立搭建hadoop集群，熟練mapreduce程序開發(fā)、調試。熟悉apache、cloudera的hadoop版本發(fā)布流程。熟練掌握Java，能熟練運用面向對象原則和Java設計模式。10年J2EE開發(fā)維護經(jīng)驗，熟悉JSP、JDBC、JavaScript等。熟練使用linux/unix。熟悉Shell、perl，有3年開發(fā)經(jīng)驗。有SQLServer和Oracle開發(fā)經(jīng)驗。熟練使用Eclipse、IDEA、SVN、Git等工具。熟練軟件開發(fā)流程，有從需求調研到測試前的豐富經(jīng)驗(FD,DD,CD,UT,FT)，有較強的撰寫文檔能力。無填表說明職務：高級開發(fā)工程師角色：設計、開發(fā)目前駐地：北京姓名陳亮性別男出生年月1981/5籍貫成都照片學歷本科畢業(yè)院校及專業(yè)四川師范大學目前駐地成都參加工作時間2004工作年限12身份證號后4位0150電子郵件Chenliang10@聯(lián)系方司名稱北京數(shù)據(jù)有限公司技術特長和職稱工作經(jīng)歷起止時間公司名稱職務2004.07-2007.03中國工商銀行瀘州市分行java工程師2007.04-2008.08中國平安集團java高級工程師2008.08-2011.04四川創(chuàng)立信息科技有限責任公司

java高級工程師2011.08-2016.02北京聚思騰信息技術有限公司java高級工程師2016.02-北京數(shù)據(jù)有限公司java高級工程師以上資料屬實。（外包公司蓋章）商務代表：聯(lián)系電話：項目經(jīng)驗公司名稱項目起止時間參與項目周期(月)項目中承擔職責（項目管理/數(shù)據(jù)分析/模型設計/架構設計/開發(fā)/測試）中國工商銀行瀘州市分行2004.07-2007.03

32模型設計/開發(fā)中國平安集團2007.04-2008.0816架構設計/模型設計/開發(fā)北京數(shù)據(jù)有限公司2016/27架構設計/模型設計/開發(fā)項目一：2015.12-2016.02佛山星期六鞋業(yè)貿(mào)易伙伴協(xié)同系統(tǒng)2期軟件環(huán)境： Tomcat7、Oracle11g、Linux、WindowServer2008開發(fā)工具： PowerDesigner、Eclipse、PLSQLDeveloper責任描述： 負責系統(tǒng)設計、接口設計、功能開發(fā)、實施部署和后期維護項目描述： 在TPL項目1期基礎上為星期六鞋業(yè)梳理備料、生產(chǎn)、質檢業(yè)務流程，簡化工廠日常工作，提高效率，并讓工廠參與業(yè)務進程，及時反饋生產(chǎn)信息。項目二：2015.09-2015.11武漢良中行TMS運輸管理系統(tǒng)項目軟件環(huán)境： Tomcat7、Oracle11g、Linux開發(fā)工具： Eclipse、PLSQLDeveloper、PowerDesigner、Visio責任描述： 負責系統(tǒng)設計、接口設計、功能開發(fā)、實施部署和后期維護項目描述： 構建良中行運輸管理信息系統(tǒng)，規(guī)范運輸業(yè)務流程，處理上游系統(tǒng)下發(fā)的運輸任務，以此達到運輸任務執(zhí)行標準化、信息化，最終達到運輸執(zhí)行的高效與準確。項目三：2015.04-2015.08青島匯業(yè)倉儲有限公司TPL項目軟件環(huán)境： Tomcat7、Oracle11g、WindowServer開發(fā)工具： Eclipse、PLSQLDeveloper責任描述： 負責系統(tǒng)設計、接口設計、功能開發(fā)、實施部署和后期維護項目描述： 構建青島匯業(yè)汽配供應鏈協(xié)作平臺。整合公司資源，節(jié)約成本，提高工作效率，實現(xiàn)信息化管理。為供應商、客戶提供線上業(yè)務操作，讓其參與業(yè)務進程，了解業(yè)務運行情況，反饋業(yè)務信息。為SAP、WMS等系統(tǒng)提供數(shù)交互接口，多系統(tǒng)協(xié)同工作，實時交互，在整個業(yè)務流程中充當承上啟下的作用。專業(yè)特長、獲獎及培訓情況具有10年軟件開發(fā)、系統(tǒng)設計和部署實施經(jīng)驗，擅長J2EE平臺相關技術1.具有堅實的JAVA基礎，熟悉JAVA特性，如反射，序列化、多線程，注解，動態(tài)編譯，動態(tài)代理2.理解編程原則，探索基于敏捷思想的開發(fā)模式和架構，正嘗試Extjs+JspTaglib+Spring進行實現(xiàn)3.熟悉J2EE體系結構，能使用EJB3、JPA、Servlet、JSP、JMS等技術進行軟件開發(fā)4.熟悉MVC架構模式，能使用Spring，Hibernate等主流開源框架進行開發(fā)5.熟悉Javascirpt，能使用Extjs等JS框架進行前臺開發(fā)6.熟悉Oracle/Mysql數(shù)據(jù)庫，能運用數(shù)據(jù)庫腳本語言進行開發(fā)，擅長調優(yōu)和故障排查，能根據(jù)需求進行數(shù)據(jù)庫建模和設計7.熟悉AOP，能使用SpringAop進行面向切面設計和編程8.知曉SOA架構模式，能使用CXF等框架進行WebService開發(fā)9.熟悉Weblogic、Tomcat，JBOSS等應用服務器的部署，調試和維護10.了解Linux操作系統(tǒng)，能進行應用部署、維護和故障排查無填表說明職務：架構設計師角色：設計、開發(fā)、架構目前駐地：成都姓名楊若彬性別男出生年月1984/10籍貫漢照片學歷本科畢業(yè)院校及專業(yè)哈爾濱學院（計算機科學與技術）目前駐地北京參加工作時間2008工作年限8身份證號后4位1514電子郵件yangrb@聯(lián)系方司名稱科技（中國）有限公司技術特長和職稱工作經(jīng)歷起止時間公司名稱職務2008/6-2011/6北京安泰偉奧信息技術有限公司java工程師2011/6-2014/12億陽信通股份有限公司java高級工程師2014/12-至今北京智慧數(shù)據(jù)股份有限公司java高級工程師以上資料屬實。（外包公司蓋章）商務代表：聯(lián)系電話：項目經(jīng)驗公司名稱項目起止時間參與項目周期(月)項目中承擔職責（項目管理/數(shù)據(jù)分析/模型設計/架構設計/開發(fā)/測試）北京智慧數(shù)據(jù)股份有限公司2014/12—至今20架構設計/模型設計/開發(fā)億陽信通股份有限公司2011/6-2014/1242模型設計/開發(fā)北京安泰偉奧信息技術有限公司2008/6-2011/636開發(fā)項目一：2015.11—至今：SpiderDaemon爬蟲軟件環(huán)境： linux，java，solr，hadoop，hbase，apache，docker等開發(fā)工具： eclipse項目描述： 隨著互聯(lián)網(wǎng)信息的爆炸性增長，集中式網(wǎng)絡爬蟲信息采集的速度和規(guī)模已難以滿足實際應用的需要,分布式網(wǎng)絡爬蟲較集中式網(wǎng)絡爬蟲往往具有明顯的速度與規(guī)模優(yōu)勢，是今后大規(guī)模網(wǎng)絡爬蟲發(fā)展的一個重要方向，的網(wǎng)絡爬蟲即采用分布式爬蟲模式。責任描述： 架構設計，模型設計，開發(fā)項目二：2015.5—2015.11：nutch軟件環(huán)境： linux，java，solr等開發(fā)工具： eclipse項目描述： 在這個互聯(lián)網(wǎng)信息大爆炸的時代，數(shù)據(jù)所扮演的角色已經(jīng)不可忽視。互聯(lián)網(wǎng)數(shù)據(jù)形式豐富，且網(wǎng)絡技術不斷發(fā)展，圖片、音頻、視頻等不同數(shù)據(jù)大量出現(xiàn)，需要網(wǎng)絡爬蟲將這些多樣化的網(wǎng)頁中用戶真正關心的內容抓取下來、并有效地提取和利用這些信息，將低價值密度的公開數(shù)據(jù)進行加工，形成自己的數(shù)據(jù)，可以發(fā)現(xiàn)網(wǎng)絡趨勢、預測商機等。Nutch作為開源的爬蟲工具，可以抓取各種需求的信息，比如商品、小說、視頻信息、排行榜、APP信息等數(shù)據(jù)并加以提取。責任描述： 模型設計，開發(fā)項目三：2014.12—201504：SCA（內容分析服務）軟件環(huán)境： linux，hadoop，hive，sqoop，hbase，apache等開發(fā)工具： eclipse項目描述： 基于hadoop的etl及離線數(shù)據(jù)處理產(chǎn)品。責任描述： 架構設計，模型設計，開發(fā)項目四：2012.5—201412：騷擾電話監(jiān)控系統(tǒng)軟件環(huán)境： windows,java,apache等開發(fā)工具： Eclipse項目描述： 移動在全網(wǎng)范圍內統(tǒng)籌考慮各類騷擾電話監(jiān)控技術和攔截手段，通過建設騷擾電話集中運營系統(tǒng)，發(fā)布全網(wǎng)統(tǒng)一的疑似騷擾電話分析策略，做到對各省騷擾電話分析策略有效統(tǒng)一的制定及管理，實現(xiàn)對騷擾電話的準確識別和快速封堵。責任描述： 模型設計，開發(fā)項目五：2011/06—201412：智能預處理系統(tǒng)軟件環(huán)境： windows,java,apache開發(fā)工具： Tomcat,Eclipse項目描述：智能預處理系統(tǒng)是在網(wǎng)元發(fā)生告警及故障時，監(jiān)控系統(tǒng)通過自動或交互式處理，自動消除告警，或者通過提取故障輔助信息、輔助維護人員進行故障分析處理。責任描述： 模型設計，開發(fā)項目六：2010.11—2011.6：湖南省直公積金歸集管理系統(tǒng)軟件環(huán)境： windows,java,apache開發(fā)工具： Tomcat,Eclipse項目描述：歸集管理系統(tǒng)主要是對公積金的管理，包括單位賬戶和個人賬戶的申請，個人公積金申請、繳存和提取，對公積金個人核算和各項業(yè)務查詢、打印等功能。責任描述： 開發(fā)項目七：2009.04—2010.10：國管住房公積金管理信息系統(tǒng)歸集管理系統(tǒng)軟件環(huán)境： linux,windows,java,apache開發(fā)工具： Tomcat,Eclipse項目描述： 歸集管理系統(tǒng)主要是對公積金的管理，包括