物聯(lián)網(wǎng)基礎(chǔ)架構(gòu)設(shè)備接入與大數(shù)據(jù)分析

物聯(lián)網(wǎng)根底架構(gòu)：設(shè)備接入與大數(shù)據(jù)分析TableofContents云效勞面臨大規(guī)模設(shè)備接入挑戰(zhàn)新的解決方案：EventHub效勞EventHub平安模型云效勞面臨大規(guī)模設(shè)備接入挑戰(zhàn)可變速率可預(yù)測(cè)和不可預(yù)測(cè)的突發(fā)事件流的特性千變?nèi)f化tInactivityPeriodComputeOnandoffOnandoffworkloads(e.g.batchjob)Overprovisionedcapacityiswasted.tBurstsPeaksduetoperiodicincreaseddemandITcomplexityandwastedcapacity.ComputeHalo4在線游戲數(shù)據(jù)〔一周的統(tǒng)計(jì)數(shù)據(jù)〕事件發(fā)生率各式各樣設(shè)備信息溫控傳感器每十五分鐘上報(bào)一次數(shù)據(jù)智能汽車(chē)每分鐘上報(bào)一次數(shù)據(jù)應(yīng)用的信息應(yīng)用的性能監(jiān)測(cè)效勞每秒鐘上報(bào)數(shù)據(jù)到效勞器移動(dòng)應(yīng)用捕獲并上報(bào)你的每一次操作!應(yīng)用和運(yùn)維的信息Halo游戲引擎每秒要處理1,000,000消息事件的來(lái)源種類繁多1B智能電視2.5B個(gè)人電腦>5B智能手機(jī)和平板電腦>10B物聯(lián)網(wǎng)數(shù)據(jù)來(lái)源:Gartner,IDC,StrategyAnalytics,MachinaResearch,Companyfilings,BIIntelligence,Accentureanalysis盈利模式內(nèi)容設(shè)備設(shè)備應(yīng)用設(shè)備應(yīng)用與效勞垂直領(lǐng)域中的效勞設(shè)備IoT的影響力GridRenewablesOil/Gas/Coal

Recoveryand

DistributionPoints

ofSaleRestaurantsHotelsFuel

StationsPatientsClinicsHospitalsNursing

HomesMobile

CareSafetySecurityComfortLightingAutomationManufacturingIntegrationandAutomationRemote

ServicingPredictiveand

Reactive

MaintenanceWaterWastePollution

ControlFireEmergencyPublicSafetyLaw

EnforcementLettersPackagesContainersTanksBulkwareGamesEventsSportsTelevisionStreamingTrafficBusesCarsTrucksTrainsVesselsAircraftBikes智慧能源智慧零售智能移動(dòng)智慧物流智慧工廠智慧城市智慧娛樂(lè)智慧醫(yī)療智能建筑/家居對(duì)云效勞的挑戰(zhàn)設(shè)備接入效勞必須能夠支持高并發(fā)性(如超過(guò)百萬(wàn)級(jí)的并發(fā)設(shè)備接入)高速率(如每秒超過(guò)百萬(wàn)事件)高吞吐量(如每100秒處理超過(guò)TB)同時(shí)還要支持事件緩沖來(lái)提高可用性持久性低處理延遲高平安性最后還要價(jià)格合理！GridRenewablesOil/Gas/Coal

Recoveryand

DistributionPoints

ofSaleRestaurantsHotelsFuel

StationsPatientsClinicsHospitalsNursing

HomesMobile

CareSafetySecurityComfortLightingAutomationManufacturingIntegrationandAutomationRemote

ServicingPredictiveand

Reactive

MaintenanceWaterWastePollution

ControlFireEmergencyPublicSafetyLaw

EnforcementLettersPackagesContainersTanksBulkwareGamesEventsSportsTelevisionStreamingTrafficBusesCarsTrucksTrainsVesselsAircraftBikesSmartEnergySmartRetailSmartMobilitySmartLogisticsSmartFactorySmartCitiesSmartEntertain-mentSmartHealth-careSmartBuildingHome新的解決方案：EventHub效勞EventHub是大規(guī)模數(shù)據(jù)接入效勞設(shè)備容量:通過(guò)HTTP/AMQP可接收超過(guò)百萬(wàn)的數(shù)據(jù)源〔設(shè)備〕處理速度:每秒處理超百萬(wàn)的事件輸入吞吐量:超過(guò)GB/s輸出: 發(fā)布－訂閱模型，可并發(fā)連接多個(gè)用戶應(yīng)用平安性: 基于SAS，每個(gè)發(fā)布者有唯一的令牌事件緩沖:每個(gè)用戶的應(yīng)用擁有自己的指針和偏移量持久性：每個(gè)事件可保存1~7天處理時(shí)延：端到端50ms內(nèi)價(jià)格: PaaS模式，按實(shí)際使用量計(jì)費(fèi)EventHub在物聯(lián)網(wǎng)中的應(yīng)用場(chǎng)景展現(xiàn)與操作數(shù)據(jù)改造事件代理永久性存儲(chǔ)事件采集事件源設(shè)備嵌入式設(shè)備(如RTOS)支持IP的設(shè)備

(Windows/Linux)用戶處網(wǎng)關(guān)設(shè)備EventHub傳統(tǒng)物聯(lián)網(wǎng)

(私有協(xié)議)協(xié)議轉(zhuǎn)換網(wǎng)關(guān)AMQP/HTTPC,.NET,Java…MQTT/COAP/Custom定制數(shù)據(jù)的保存時(shí)間,用戶分組,接收者分區(qū),檢查點(diǎn),分區(qū)分發(fā)API低處理時(shí)延方便集成分析平臺(tái)與效勞定制代碼流分析Storm存儲(chǔ)適配器可以配置的存儲(chǔ)效勞適配器App監(jiān)控?cái)?shù)據(jù)分析狀態(tài)監(jiān)控Dashboard服務(wù)搜索分布式事件跟蹤-用戶應(yīng)用AMQP/HTTP,C,.NET,Java…可根據(jù)吞吐量和并發(fā)數(shù)量擴(kuò)展Azure數(shù)據(jù)庫(kù)Azure存儲(chǔ)HDInsightEventHub如何采集事件事件就是設(shè)備和應(yīng)用上傳的消息EventHub以〞分區(qū)〞〔Partition〕為接收單元一個(gè)分區(qū)就是就是一個(gè)事件隊(duì)列一個(gè)EventHub效勞包含多個(gè)分區(qū)分區(qū)之間相互獨(dú)立<256KBEventHub事件采集的高擴(kuò)展性設(shè)備發(fā)送到EventHub效勞的事件包含分區(qū)鍵值(Key)EventHub通過(guò)靜態(tài)哈希函數(shù)將事件分發(fā)到分區(qū)如果發(fā)布事件時(shí)未指定分區(qū)鍵，那么會(huì)使用循環(huán)分配或者其他〔如根據(jù)地理位置〕屬性分配EventHub的流量控制EventHub的流控通過(guò)流控單元實(shí)現(xiàn)輸入流控：每個(gè)單元限定1MB/s或1000events/s輸出流控：每個(gè)單元限定2MB/sEventHub如何傳遞消息到使用者從EventHub讀取事件數(shù)據(jù)的任何實(shí)體稱為事件使用者IoT場(chǎng)景下，事件使用者就是IoT應(yīng)用的后臺(tái)效勞事件使用者通過(guò)使用者組中的分區(qū)讀取事件流AMQP1.0EventHub如何支持故障轉(zhuǎn)移和彈性EventHub的分區(qū)支持偏移量〔Offset〕偏移量是事件的編號(hào)事件使用者可以在事件流中指定要從其開(kāi)始讀取事件的點(diǎn)EventHub的分區(qū)支持檢查點(diǎn)〔Checkpointing〕檢查點(diǎn)記錄分區(qū)中的事件處理的狀態(tài)當(dāng)一個(gè)使用者發(fā)生故障的時(shí)候，備份的使用者可以從檢查點(diǎn)開(kāi)始，繼續(xù)處理未經(jīng)處理的事件多個(gè)使用者可以并行處理同一分區(qū)內(nèi)的不同事件EventHub平安模型EventHub發(fā)布者發(fā)布者是設(shè)備接入EventHub效勞的端點(diǎn)發(fā)布者具有接入控制和流控的功能每個(gè)設(shè)備都把消息發(fā)送給發(fā)布者每一個(gè)發(fā)布者有唯一的URL:EventHubpublisher“dev-01〞device“dev-01〞publisher“dev-02〞device“dev-02〞publisher“dev-n〞device“dev-n〞基于令牌的平安模型每一個(gè)設(shè)備都有自己的共享訪問(wèn)簽名(SAS)令牌設(shè)備長(zhǎng)期持有令牌設(shè)備在發(fā)送的每條消息里攜帶令牌發(fā)布者根據(jù)令牌授權(quán)設(shè)備接入設(shè)備通過(guò)以下方式之一獲得令牌:離線獲取并燒入設(shè)備.通過(guò)用戶的配置效勞獲取令牌所有的令牌都被分配一個(gè)密鑰分配密鑰所有的令牌都被分配了一個(gè)密鑰密鑰保存在EventHub效勞中，用于驗(yàn)證令牌設(shè)備不知道密鑰密鑰永遠(yuǎn)不會(huì)在網(wǎng)上傳輸實(shí)時(shí)大數(shù)據(jù)分析–待續(xù)。。。共享資源LearningMicrosof