車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)應(yīng)用架構(gòu)設(shè)計(jì)

1、 車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)應(yīng)用架構(gòu)設(shè)計(jì)目 錄 TOC o 1-3 h z u HYPERLINK l _Toc7430628 1.車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)總體架構(gòu) PAGEREF _Toc7430628 h 3 HYPERLINK l _Toc7430629 2.平臺(tái)架構(gòu)分解 PAGEREF _Toc7430629 h 4 HYPERLINK l _Toc7430630 2.1.數(shù)據(jù)源 PAGEREF _Toc7430630 h 4 HYPERLINK l _Toc7430631 2.2.數(shù)據(jù)傳輸 PAGEREF _Toc7430631 h 5 HYPERLINK l _Toc7430632 2.3.數(shù)據(jù)處理

2、 PAGEREF _Toc7430632 h 6 HYPERLINK l _Toc7430633 2.4.數(shù)據(jù)分析 PAGEREF _Toc7430633 h 8 HYPERLINK l _Toc7430634 2.5.數(shù)據(jù)應(yīng)用 PAGEREF _Toc7430634 h 8 HYPERLINK l _Toc7430635 3.AI智能生態(tài) PAGEREF _Toc7430635 h 9車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)總體架構(gòu)隨著大數(shù)據(jù)、云計(jì)算、移動(dòng)網(wǎng)絡(luò)和物聯(lián)網(wǎng)的不斷發(fā)展和興起，給各行各業(yè)注入了發(fā)展的新鮮血液，車(chē)聯(lián)網(wǎng)作為物聯(lián)網(wǎng)的分支在汽車(chē)領(lǐng)域也有著長(zhǎng)足的發(fā)展。車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)，通俗的說(shuō)將汽車(chē)跑在互聯(lián)網(wǎng)上，將車(chē)

3、輛數(shù)據(jù)、車(chē)機(jī)數(shù)據(jù)、用戶(hù)數(shù)據(jù)、廠商數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、第三方數(shù)據(jù)等，利用設(shè)備傳感器、埋點(diǎn)、外部數(shù)據(jù)導(dǎo)入集成等多種技術(shù)手段將各類(lèi)數(shù)據(jù)收集起來(lái)，并儲(chǔ)存到自建的數(shù)據(jù)中心或者云端數(shù)據(jù)平臺(tái)中，并進(jìn)行一定規(guī)則的清洗加工轉(zhuǎn)換等邏輯處理，再結(jié)合多種業(yè)務(wù)需求和業(yè)務(wù)目標(biāo)，進(jìn)行匯總統(tǒng)計(jì)、BI、機(jī)器學(xué)習(xí)和算法分析等深入挖掘，提供豐富的數(shù)據(jù)服務(wù)，以更好的服務(wù)反饋給用戶(hù)并輔助企業(yè)業(yè)務(wù)的發(fā)展、提高營(yíng)業(yè)收入。平臺(tái)架構(gòu)分解數(shù)據(jù)源1）、車(chē)輛數(shù)據(jù)車(chē)輛數(shù)據(jù)包含發(fā)動(dòng)機(jī)、離合器、電池、空調(diào)、車(chē)門(mén)車(chē)窗、車(chē)燈等汽車(chē)部件信號(hào)數(shù)據(jù)，還有汽車(chē)經(jīng)緯度、加減速度、油量、電量、溫度、汽車(chē)啟動(dòng)和停止等動(dòng)態(tài)數(shù)據(jù)等等；2）、車(chē)機(jī)數(shù)據(jù)車(chē)機(jī)數(shù)據(jù)指音頻、視頻和導(dǎo)航系統(tǒng)，

4、數(shù)據(jù)主要包括設(shè)備信息、經(jīng)緯度、版本號(hào)、應(yīng)用信息、電臺(tái)節(jié)目信息等等。3）、用戶(hù)數(shù)據(jù)用戶(hù)數(shù)據(jù)指用戶(hù)在車(chē)機(jī)上的操作數(shù)據(jù)，例如：行程導(dǎo)航信息、收聽(tīng)節(jié)目清單、收藏的興趣點(diǎn)、應(yīng)用使用信息等；4）、廠商數(shù)據(jù)廠商數(shù)據(jù)指車(chē)企及相關(guān)合作企業(yè)數(shù)據(jù)，例如：合作企業(yè)、電子眼、交通狀況、地圖、車(chē)輛保養(yǎng)、保險(xiǎn)等信息；5）、業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)指車(chē)輛制造信息、車(chē)輛銷(xiāo)售信息、車(chē)輛維修信息、人車(chē)交互信息、人機(jī)交互信息等；6）、第三方數(shù)據(jù)第三方數(shù)據(jù)主要指社會(huì)公共數(shù)據(jù)資源及第三方數(shù)據(jù)服務(wù)，例如：地圖服務(wù)、天氣服務(wù)等。數(shù)據(jù)傳輸針對(duì)上述數(shù)據(jù)源，車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)提供相應(yīng)的數(shù)據(jù)傳輸接入方式或工具：1）、Flume（文件收集）Flume是Clou

5、dera開(kāi)發(fā)的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。數(shù)據(jù)源可定制、可擴(kuò)展，數(shù)據(jù)存儲(chǔ)系統(tǒng)可定制、可擴(kuò)展。Flume運(yùn)行的核心是Agent，它是一個(gè)完整的數(shù)據(jù)收集工具，含有三個(gè)核心組件，分別是：Source、Channel、Sink。通過(guò)這些組件，Event可以從一個(gè)地方流向另一個(gè)地方。為了保證輸送一定成功，在送到目的地之前，會(huì)先緩存數(shù)據(jù)，待數(shù)據(jù)真正到達(dá)目的地后，刪除自己緩存的數(shù)據(jù)。2）、Kafka（消息收集）Kafka是分布式發(fā)布-訂閱消息系統(tǒng)。它最初由LinkedIn公司開(kāi)發(fā)，之后成為Apache項(xiàng)目的一部分

6、。Kafka是一個(gè)分布式的，可劃分的，冗余備份的持久性的日志服務(wù)。它主要用于處理活躍的流式數(shù)據(jù)。在大數(shù)據(jù)系統(tǒng)中，常常會(huì)碰到一個(gè)問(wèn)題，整個(gè)大數(shù)據(jù)是由各個(gè)子系統(tǒng)組成，數(shù)據(jù)需要在各個(gè)子系統(tǒng)中高性能，低延遲的不停流轉(zhuǎn)。傳統(tǒng)的企業(yè)消息系統(tǒng)并不是非常適合大規(guī)模的數(shù)據(jù)處理。為了同時(shí)搞定在線(xiàn)應(yīng)用（消息）和離線(xiàn)應(yīng)用（數(shù)據(jù)文件，日志）Kafka就出現(xiàn)了。Kafka可以起到兩個(gè)作用：降低系統(tǒng)組網(wǎng)復(fù)雜度；降低編程復(fù)雜度，各個(gè)子系統(tǒng)不再是相互協(xié)商接口，各個(gè)子系統(tǒng)類(lèi)似插口插在插座上，Kafka承擔(dān)高速數(shù)據(jù)總線(xiàn)的作用。3）、Sqoop（數(shù)據(jù)庫(kù)數(shù)據(jù)）Sqoop可以在HDFS/Hive和關(guān)系型數(shù)據(jù)庫(kù)之間進(jìn)行數(shù)據(jù)的導(dǎo)入導(dǎo)出，其中

7、主要使用了import和export這兩個(gè)工具。這兩個(gè)工具非常強(qiáng)大，提供了很多選項(xiàng)幫助我們完成數(shù)據(jù)的遷移和同步。比如，下面兩個(gè)潛在的需求：業(yè)務(wù)數(shù)據(jù)存放在關(guān)系數(shù)據(jù)庫(kù)中，如果數(shù)據(jù)量達(dá)到一定規(guī)模后需要對(duì)其進(jìn)行分析或同統(tǒng)計(jì)，單純使用關(guān)系數(shù)據(jù)庫(kù)可能會(huì)成為瓶頸，這時(shí)可以將數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入（import）到Hadoop平臺(tái)進(jìn)行離線(xiàn)分析；對(duì)大規(guī)模的數(shù)據(jù)在Hadoop平臺(tái)上進(jìn)行分析以后，可能需要將結(jié)果同步到關(guān)系數(shù)據(jù)庫(kù)中作為業(yè)務(wù)的輔助數(shù)據(jù)，這時(shí)候需要將Hadoop平臺(tái)分析后的數(shù)據(jù)導(dǎo)出（export）到關(guān)系數(shù)據(jù)庫(kù)。4）、SDKSDK(SoftwareDevelopmentKit，軟件開(kāi)發(fā)工具包)是開(kāi)發(fā)工具的

8、集合，是提供給開(kāi)發(fā)人員進(jìn)行應(yīng)用程序開(kāi)發(fā)的工具，開(kāi)發(fā)人員可以直接使用相應(yīng)功能，從而省去了編寫(xiě)相應(yīng)功能代碼的過(guò)程。5）、APIsAPI（ApplicationProgrammingInterface,應(yīng)用程序編程接口）是一些預(yù)先定義的函數(shù)，目的是提供應(yīng)用程序與開(kāi)發(fā)人員基于某軟件或硬件得以訪問(wèn)一組例程的能力，而又無(wú)需訪問(wèn)源碼，或理解內(nèi)部工作機(jī)制的細(xì)節(jié)。數(shù)據(jù)處理車(chē)聯(lián)網(wǎng)大數(shù)據(jù)的一個(gè)顯著特點(diǎn)是數(shù)據(jù)是源源不斷的，并且具有周期性。所以此類(lèi)數(shù)據(jù)會(huì)隨車(chē)載終端數(shù)量增多，系統(tǒng)部署規(guī)模的擴(kuò)大會(huì)迅速積累增長(zhǎng)，對(duì)數(shù)據(jù)存儲(chǔ)與分析帶來(lái)較大壓力。對(duì)此，車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)需在數(shù)據(jù)存儲(chǔ)之前進(jìn)行一些必要的預(yù)處理：1）、解析各類(lèi)車(chē)輛數(shù)據(jù)都

9、會(huì)有特定的存儲(chǔ)格式，車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)應(yīng)提供一種統(tǒng)一多源異構(gòu)工具，對(duì)所有接入的數(shù)據(jù)源進(jìn)行歸一化處理。2）、過(guò)濾針對(duì)解析后的數(shù)據(jù)值，車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)應(yīng)提供去重、降噪、篩選、清洗等工具將無(wú)效數(shù)據(jù)進(jìn)行過(guò)濾，以達(dá)到節(jié)省存儲(chǔ)空間的目的。3）、預(yù)處理此外，車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)為數(shù)據(jù)分析提供預(yù)處理功能，以便提高后續(xù)數(shù)據(jù)分析的效率。預(yù)處理包括合并、分類(lèi)、轉(zhuǎn)換等操作。04數(shù)據(jù)存儲(chǔ)大數(shù)據(jù)相對(duì)傳統(tǒng)數(shù)據(jù)的差異點(diǎn)，相對(duì)傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)在數(shù)據(jù)體量、增長(zhǎng)速度、數(shù)據(jù)形式、價(jià)值上都有著顯著的區(qū)別。1）、當(dāng)傳統(tǒng)數(shù)據(jù)時(shí)代還是考慮數(shù)據(jù)的吞吐從G到T的時(shí)候，大數(shù)據(jù)早已躍升到了P以上的時(shí)代；2）、相對(duì)增長(zhǎng)穩(wěn)定的傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)在后續(xù)的萬(wàn)物互聯(lián)

10、時(shí)代正在以年增長(zhǎng)率超過(guò)60%的速度快速膨脹;3）、區(qū)別與以結(jié)構(gòu)化數(shù)據(jù)為主的傳統(tǒng)數(shù)據(jù)，圖像、聲音、文本等各種非結(jié)構(gòu)化數(shù)據(jù)正在大量的填充著大數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù);4）、隨著各地大數(shù)據(jù)交易中心的建立，大數(shù)據(jù)時(shí)代的數(shù)據(jù)資產(chǎn)化正在漸入佳境，數(shù)據(jù)價(jià)值快速提升。數(shù)據(jù)分析車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)的核心功能是將原始數(shù)據(jù)通過(guò)各種數(shù)據(jù)分析的手段轉(zhuǎn)換成對(duì)用戶(hù)有意義的信息。車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)分析包括：1）、基礎(chǔ)運(yùn)算針對(duì)各種數(shù)據(jù)類(lèi)型，提供相應(yīng)基礎(chǔ)數(shù)據(jù)分析功能，例如求平均數(shù)、最值、變化率等。2）、機(jī)器學(xué)習(xí)車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)應(yīng)內(nèi)置各種機(jī)器學(xué)習(xí)的算法，并為用戶(hù)提供友好的客戶(hù)端接口。3）、實(shí)時(shí)分析有些數(shù)據(jù)時(shí)效性較強(qiáng)，即需要被實(shí)時(shí)處理才能將原

11、始數(shù)據(jù)轉(zhuǎn)化為對(duì)用戶(hù)有意義的信息或被用于支持一些即時(shí)決策。一旦處理不及時(shí)，這些數(shù)據(jù)所包含的信息量將大幅下降。車(chē)聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)可在數(shù)據(jù)預(yù)處理時(shí)提供實(shí)時(shí)數(shù)據(jù)處理.數(shù)據(jù)應(yīng)用用戶(hù)畫(huà)像通過(guò)分析模型將用戶(hù)各類(lèi)行為，例如駕駛行為、消費(fèi)行為、日常愛(ài)好行為等等因子輔以GPS信息、駕駛區(qū)域、行程路況、行程天氣、駕乘習(xí)慣等其他因子構(gòu)成精細(xì)的用戶(hù)行為畫(huà)像，結(jié)果可廣泛用于潛客分析、用戶(hù)行為分析、保險(xiǎn)風(fēng)險(xiǎn)測(cè)量、信用評(píng)價(jià)、車(chē)型設(shè)計(jì)、道路規(guī)劃等各個(gè)領(lǐng)域。通過(guò)收集、分析出眾多的精確數(shù)字能夠得出車(chē)聯(lián)網(wǎng)用戶(hù)畫(huà)像，了解用戶(hù)個(gè)人的行為習(xí)慣，并且通過(guò)個(gè)性化推薦系統(tǒng)為用戶(hù)推薦各類(lèi)適合的信息。如果將用戶(hù)模型應(yīng)用在批量用戶(hù)管理平臺(tái)，可以促進(jìn)管理平臺(tái)的效率提升和數(shù)字化運(yùn)營(yíng)、原來(lái)增強(qiáng)用戶(hù)粘性。AI智能生態(tài)以車(chē)載OS為核心打通車(chē)輛基本數(shù)據(jù)、用戶(hù)數(shù)據(jù)、云生態(tài)以及AI語(yǔ)音系統(tǒng)，為整個(gè)生態(tài)實(shí)現(xiàn)奠定強(qiáng)有力的基礎(chǔ)。這里的云生態(tài)是指主機(jī)廠商云、數(shù)據(jù)服務(wù)商