智能互聯(lián)服務(wù)器軟件的開發(fā)與研究

1、    智能互聯(lián)服務(wù)器軟件的開發(fā)與研究    王京陳 偉利 陳亮【摘要】本文選擇在hadoop平臺mapreduce計算框架搭建服務(wù)器平臺框架，并根據(jù)數(shù)據(jù)類型的不同分別進(jìn)行mysql數(shù)據(jù)庫mongodb數(shù)據(jù)庫的設(shè)計和搭建，采用異步非阻塞通信的方式把通過gps和rfid技術(shù)采集的數(shù)據(jù)，傳輸至信息管理系統(tǒng)進(jìn)行數(shù)據(jù)分析處理和計算，進(jìn)而在數(shù)據(jù)服務(wù)器軟件發(fā)布信息提供實(shí)時定位等信息滿足市民出行?！娟P(guān)鍵詞】hadoop平臺mapreduce計算框架 mysq1數(shù)據(jù)庫設(shè)計mongodb數(shù)據(jù)庫設(shè)計 rfid技術(shù)0引言發(fā)展公共交通是改善城市交通的重要方面，公交車存在的到站不

2、準(zhǔn)時、坐車擁擠等問題嚴(yán)重制約了公共交通系統(tǒng)的發(fā)展，如何通過智能公交系統(tǒng)來提高乘客的滿意度是急需解決的問題。為了方便市民的出行，我們打算研究一款智能互聯(lián)的公交助手類軟件，通過車輛前端采集的數(shù)據(jù)，經(jīng)過無線網(wǎng)絡(luò)傳輸，在hadoop平臺處理，提供給大眾公交系統(tǒng)信息化和智能化的服務(wù)。1系統(tǒng)設(shè)計的總體需求（1）提供給市民：精準(zhǔn)告知公交車線路和具體位置;預(yù)計達(dá)到時間;客流量監(jiān)測;到站信息、實(shí)時更新路況信息;發(fā)布實(shí)時道路交通狀況和市政施工信息。（2）提供給政府：通過動態(tài)監(jiān)控、實(shí)時調(diào)度，掌握車輛位置信息，對公交公司可以進(jìn)行有效的行業(yè)監(jiān)管;和其他智能系統(tǒng)配合，能夠調(diào)用更多的交通信息為城市居民提供出行支持;危險時候

3、方便進(jìn)行應(yīng)急指揮。（3）提供給公交公司：通過交通路況信息、客流量時空分布，對市民交通出行進(jìn)行分析，進(jìn)而對車輛動態(tài)調(diào)度，實(shí)現(xiàn)車輛、人力、站場等生產(chǎn)資源最優(yōu)配置，提高運(yùn)營調(diào)度管理水平，并降低運(yùn)營調(diào)度管理成本。2系統(tǒng)設(shè)計信息管理系統(tǒng)作為基礎(chǔ)數(shù)據(jù)的管理平臺，對人、車、線路、站臺等數(shù)據(jù)進(jìn)行存儲和維護(hù);對車輛終端gps和rfid采集的數(shù)據(jù)進(jìn)行處理，獲取車輛的實(shí)時信息，方便公交公司對車輛進(jìn)行實(shí)時定位;并將定位數(shù)據(jù)其轉(zhuǎn)化成發(fā)布信息，發(fā)布在數(shù)據(jù)服務(wù)器軟件上;公交公司可以根據(jù)數(shù)據(jù)庫提供的車輛載客量來調(diào)動車輛，實(shí)現(xiàn)車輛的動態(tài)調(diào)度，滿足市民的出行要求。數(shù)據(jù)流圖如下所示：3 hadoop平臺的選擇hadoop是由goo

4、gle公司研發(fā)的針對大規(guī)模數(shù)據(jù)處理的分布式平臺，實(shí)現(xiàn)在大量通用計算機(jī)組成的集群中對海量數(shù)據(jù)進(jìn)行分布式計算，花費(fèi)相對廉價的成本就可以構(gòu)建一個穩(wěn)定、簡單、強(qiáng)大、高效的分布式集群計算系統(tǒng)。mapreduce計算框架是hadoop生態(tài)中最為重要的一個組件，該模型的核心理念就是“map”映射“reduce”歸約，用戶在客戶端編程時需要指定一個map函數(shù)，用來將.一組鍵值對映射到一組新的鍵值對，另外需要指定一個并發(fā)的reduce函數(shù)，用來將所有具有相同中間key值的中間value進(jìn)行合并。mapreduce相當(dāng)于一種主從架構(gòu)，由一個jobtracker和若干個tasktracker組成，其中jobtrac

5、ker作為master節(jié)點(diǎn)負(fù)責(zé)作業(yè)的整體調(diào)度，用于接收輸入的數(shù)據(jù)并根據(jù)數(shù)據(jù)集的實(shí)際大小進(jìn)行分片，然后選擇tasktracker并向其發(fā)送分片后的數(shù)據(jù)塊，由tasktracker執(zhí)行具體的分解操作，執(zhí)行完成之后將中間結(jié)果存儲到本地磁盤中并將運(yùn)行結(jié)果和存儲位置.上報給j0htracker，由jobtracker選擇下一步執(zhí)行reduce任務(wù)的節(jié)點(diǎn)，進(jìn)行最后的歸并操作。mapreduce計算框架符合我們預(yù)期的應(yīng)用，最終我們選擇在hadoop平臺mapreduce計算框架上搭建系統(tǒng)框架并進(jìn)行開發(fā)與研究，然后選擇數(shù)據(jù)庫類型進(jìn)行數(shù)據(jù)存儲，4數(shù)據(jù)庫選型及其優(yōu)勢4.1關(guān)系型數(shù)據(jù)庫的應(yīng)用關(guān)系型數(shù)據(jù)庫是利用二維表

6、格存儲數(shù)據(jù)，并且利用各表格之間的關(guān)系形成復(fù)雜的數(shù)據(jù)關(guān)系，這樣更便于們理解;而且關(guān)系型數(shù)據(jù)庫方便使用，可以常用的sql語言進(jìn)行操作，便于維護(hù)，具備豐富的完整性，大大減低了數(shù)據(jù)冗余和數(shù)據(jù)不一致的概率，信息管理系統(tǒng)中基礎(chǔ)信息類數(shù)據(jù)包括車輛基本信息、行駛路線信息、終端情況、司機(jī)信息等。這類數(shù)據(jù)一般數(shù)據(jù)量較小而且使用不是很頻繁，但各信息間的關(guān)系密切，主要用來給調(diào)度服務(wù)器查詢使用，對于這類信息，我們將采用關(guān)系型數(shù)據(jù)mysql來存儲。4.2非關(guān)系型數(shù)據(jù)庫的應(yīng)用mongodb默認(rèn)存儲引擎是內(nèi)存映射方式工作的，當(dāng)數(shù)據(jù)庫啟動的時候會將數(shù)據(jù)和索引映射到內(nèi)存中，這樣使得操作數(shù)據(jù)時是直接的內(nèi)存讀寫而非磁盤讀寫，大大加快

7、了訪問速度，當(dāng)然這也導(dǎo)致了數(shù)據(jù)庫占用內(nèi)存較高，對機(jī)器資源要求高的問題，好在mongodb對于分布式擴(kuò)展的支持非常成熟且高效，可以通過增加廉價的商用服務(wù)器構(gòu)建集群的方式使用。根據(jù)智能公交信息管理系統(tǒng)的需求分析可知，系統(tǒng)運(yùn)行過程中，一般的關(guān)系型數(shù)據(jù)庫比較難滿足，mongodb憑借快速、靈活、支持海量數(shù)據(jù)存儲等特點(diǎn)。實(shí)時數(shù)據(jù)包括車輛位置信息、車輛的速度信息、車內(nèi)載客量等，對環(huán)境數(shù)據(jù)更新頻率很快、數(shù)據(jù)量大，每隔一一兩秒（可配置）就會向服務(wù)器發(fā)送一一次，對于這類數(shù)據(jù)，本軟件將利用非關(guān)系型數(shù)據(jù)庫mongodb來進(jìn)行存儲。根據(jù)感知數(shù)據(jù)的結(jié)構(gòu)，在mysq1數(shù)據(jù)庫建立用戶信息表，記錄用戶登陸的相關(guān)信息，并在mo

8、ngodb建立數(shù)據(jù)表中記錄公交車線路號、位置信息、實(shí)時路況信息等數(shù)據(jù)。在數(shù)據(jù)庫存儲的數(shù)據(jù)進(jìn)入hadoop平臺進(jìn)行數(shù)據(jù)處理，進(jìn)而實(shí)現(xiàn)系統(tǒng)的功能。5數(shù)據(jù)采集選擇當(dāng)公交車進(jìn)站時，車載前端模塊中rfid閱讀器與公交站牌rfid電子標(biāo)簽建立連接，讀取站牌rfid標(biāo)簽信息;當(dāng)公交車處在未進(jìn)站的路段上時，用gps進(jìn)行實(shí)時定位，若車輛在路段上發(fā)生故障或擁堵時間超過時間時候，采用路段rfid技術(shù)進(jìn)行修正。因?yàn)楫惒椒亲枞ㄐ诺墓ぷ鞣绞讲捎幂喸兊臋C(jī)制，同時在執(zhí)行事件的時候都采用非阻塞的方式進(jìn)行，很少發(fā)生阻塞，所以我們在若干種網(wǎng)絡(luò)通信方式中決定采用異步非阻塞通信技術(shù)來設(shè)計實(shí)現(xiàn)系統(tǒng)的數(shù)據(jù)采集模塊，快速的傳輸?shù)絤ongo

9、db數(shù)據(jù)庫中，并且通過在公交路網(wǎng)設(shè)置的rfid標(biāo)簽，提取公交車存儲在rfid標(biāo)簽內(nèi)在線路的歷史運(yùn)行數(shù)據(jù)，傳送到服務(wù)器進(jìn)行計算，預(yù)測公交到站時間。6數(shù)據(jù)庫的搭建6.1mysq1數(shù)據(jù)庫的搭建選用mysq1數(shù)據(jù)庫存儲歷史數(shù)據(jù)，命名數(shù)據(jù)庫名稱為busrecords，存儲到對應(yīng)的集合，存儲的信息包括車輛服務(wù)的線路號、服務(wù)的時間、車輛經(jīng)過的站點(diǎn)。6.2mongodb的搭建選用mongodb存儲實(shí)時更新的公交信息。使用mongodb時先創(chuàng)建一個數(shù)據(jù)庫，服務(wù)器軟件以busrecords_realtime命名，接著在busrecords_realtime數(shù)據(jù)庫中創(chuàng)建以bus_cohections命名的集合，然后就可以在bus_collections集合中插入、修改和讀取文檔（document），把實(shí)時的路況信息和公交車具體位置、預(yù)計達(dá)到時間、客流量監(jiān)測、到站信