實(shí)時數(shù)據(jù)采集系統(tǒng)設(shè)計與實(shí)現(xiàn)課件

初步方案TM數(shù)據(jù)采集組實(shí)時數(shù)據(jù)采集系統(tǒng)設(shè)計與實(shí)現(xiàn)

TM匯報人：黃文君導(dǎo)師：王華忠2012-11-16初步方案TM數(shù)據(jù)采集組實(shí)時數(shù)據(jù)采集系統(tǒng)設(shè)計與實(shí)現(xiàn)1后續(xù)計劃系統(tǒng)實(shí)現(xiàn)系統(tǒng)設(shè)計需求分析目錄后續(xù)計劃系統(tǒng)實(shí)現(xiàn)系統(tǒng)設(shè)計需求分析目錄2預(yù)期：為EAST的持續(xù)放電設(shè)計一套基于mdsplus的實(shí)時數(shù)據(jù)采集系統(tǒng)（系統(tǒng)要求：實(shí)時，高采樣率，穩(wěn)定）需求分析數(shù)據(jù)存儲形式在聚變領(lǐng)域更國際化，易訪問

Mdsplus：存儲數(shù)據(jù)多樣化；多語言訪問；存儲效率高Decompress算法原始dat文件Lzo文件Compress算法數(shù)據(jù)存儲訪問更實(shí)時，高效預(yù)期：為EAST的持續(xù)放電設(shè)計一套基于mdsplus的實(shí)時數(shù)3系統(tǒng)設(shè)計客戶端EastScopeWebScope數(shù)據(jù)發(fā)布服務(wù)器跨網(wǎng)段：所網(wǎng)，采集網(wǎng)①RequestNAS數(shù)據(jù)存儲Request歷史炮號Request當(dāng)前炮號數(shù)據(jù)存儲服務(wù)器數(shù)據(jù)發(fā)布模塊采集存儲模塊MOVE2000多道信號采集控制臺TCP/IP傳輸系統(tǒng)設(shè)計客戶端數(shù)據(jù)發(fā)布服務(wù)器①RequestNAS數(shù)據(jù)存儲R4采集存儲模塊-分時間片機(jī)制+雙緩沖基本原理： 將整個長的時間片分成一段段的時間片，以時間片為單位，這樣就能實(shí)時看到某個時間片的數(shù)據(jù)，無需等到一炮實(shí)驗結(jié)束后，才能看到數(shù)據(jù)。。。。0~5s5~10s995~1000sEmpty（0~5s）（15~20S)Occupied(5s-10s)(20s-25s)生產(chǎn)者

消費(fèi)者采集存儲模塊基本原理：。。。。0~5s5~10s995~105存儲模式修改-雙緩沖模式性能分析雙緩沖模式：分析1：當(dāng)采用雙緩沖時，如果消費(fèi)者速度慢，Occupied數(shù)據(jù)沒拿走，生產(chǎn)者又寫數(shù)據(jù)進(jìn)去了，那數(shù)據(jù)丟失了。如果多緩沖，那生產(chǎn)者，消費(fèi)者每次檢查緩沖數(shù)據(jù)過多，代價更大分析2：兩者都需要時刻主動循環(huán)檢查緩沖區(qū)狀況，這樣浪費(fèi)計算機(jī)資源，盲目性比較大分析1:(具體分析)以每臺服務(wù)器承擔(dān)兩臺采集機(jī)而言：每個通道大?。?50K*5s*2B=2.5MB服務(wù)器承載數(shù)據(jù)量大小為2.5MB*100（通道數(shù)/臺）*2臺=500MB以千兆網(wǎng)絡(luò)端口（傳輸速度125MB/S）,端口接收時間5s(但網(wǎng)絡(luò)擁塞處理機(jī)制)

但是存儲速度,每個通道大概0.04s~0.08s（<100MB/s）,但是當(dāng)并發(fā)程度大時，會出現(xiàn)速度的不確定性（會出現(xiàn)5s內(nèi)無法將所有通道數(shù)據(jù)存儲起來）。雙緩沖模式?jīng)]有緩沖存儲機(jī)制，如果當(dāng)前緩沖沒有存儲完畢，數(shù)據(jù)會被覆蓋。存儲模式修改雙緩沖模式：分析1:(具體分析)以每臺服務(wù)器6生產(chǎn)者

消費(fèi)者存儲模式修改-生產(chǎn)者/消費(fèi)者模式分析Flag_p=0P(prod_sem)//prod_sem—產(chǎn)生數(shù)據(jù)->buf(Flag_p++)V(cons_sem)//cons_sem++信號量：prod_sem=mcons_sem=0Flag_c=0P(cons_sem)//prod_sem—buf(Flag_c++)->存儲起來V(prod_sem)//cons_sem++我不是龜速！生產(chǎn)者消費(fèi)者存儲模式修改Fla7核心代碼：封裝了三個信號量操作存儲模式修改-生產(chǎn)者/消費(fèi)者代碼存儲線程采集線程核心代碼：存儲模式修改存儲線程采集線程8存儲函數(shù)修改新函數(shù)特點(diǎn)：優(yōu)點(diǎn)：存儲數(shù)據(jù)的同時，存儲了時間。無需像以前需提前存儲時間軸

通過DIM_OF命令就能拿到時間，就能拿到縮略數(shù)據(jù)代碼足夠簡單，增大了服務(wù)端代碼的移植性 缺點(diǎn)：速度稍微慢了些（0.5MB，0.026948變到了0.04s），但是由于存儲模式的修改，影響不大。只是稍微增大了延時時間。存儲函數(shù)修改新函數(shù)特點(diǎn)：9存在的必要性：類似于googleMap（先顯示信號整體趨勢[2000個點(diǎn)]，再細(xì)看）解決方案：用空間換時間。單獨(dú)存儲縮略數(shù)據(jù)，供用戶第一次訪問；這樣所有用戶第一次訪問數(shù)據(jù)(A001)時，都不需要自己抽取數(shù)據(jù)，而只需要訪問縮略數(shù)據(jù)(A001_s)即可和以前不同點(diǎn)：盡量保持寫數(shù)據(jù)進(jìn)程的通用性，也為了提高寫數(shù)據(jù)進(jìn)程的速度。將寫縮略數(shù)據(jù)進(jìn)程剝離出來，寫數(shù)據(jù)進(jìn)程每隔20s通過消息隊列通知寫縮略進(jìn)程?？s略進(jìn)程就負(fù)責(zé)抽取數(shù)據(jù)；然后寫數(shù)據(jù)進(jìn)程繼續(xù)工作，不影響寫數(shù)據(jù)進(jìn)程速度?？s略數(shù)據(jù)修改SetTimeContext（起，終，(終-起）/2000）DIM_OFMdsValue(時間)MdsValue(數(shù)據(jù)）Build_signal(數(shù)據(jù)，時間)存在的必要性：類似于googleMap（先顯示信號整體趨勢10縮略數(shù)據(jù)代碼細(xì)節(jié)縮略數(shù)據(jù)代碼細(xì)節(jié)11存儲模式修改-細(xì)節(jié)修改1：多進(jìn)程調(diào)用比多線程調(diào)用，并發(fā)存儲速度要快。所以將原來的多線程程序改成現(xiàn)在的多進(jìn)程2：利用mdsplus的分布式特性，將east樹的脈沖樹的寫入，轉(zhuǎn)換成對多顆子樹（east_ts1,east_ts2..）的單獨(dú)寫入，減少并發(fā)性3：時間片拼接機(jī)制由于理論上每片60MB時Mdsplus讀寫性能最好，但是由于采集卡限制，實(shí)際中每片數(shù)據(jù)量250K*2s*2B=1MB；將小時間片拼接成一個更大的buf（內(nèi)存）；時間片選擇更加靈活4：為了提高服務(wù)器端代碼的通用性，在采集端將數(shù)據(jù)重新組裝好，服務(wù)端只需存儲數(shù)據(jù)，無需理解采集端存儲模式修改1：多進(jìn)程調(diào)用比多線程調(diào)用，并發(fā)存儲速度要快。所12后續(xù)計劃1：目前，采集存儲模塊基本搭建完畢。采集控制臺，主控制模塊（控制模型樹重建+脈沖樹簡歷），采集機(jī)程序，服務(wù)器程序（主存儲程序+寫縮略數(shù)據(jù)程序）初步運(yùn)行正常2：下一步：首先對采集存儲模塊進(jìn)行壓力測試（多臺采集機(jī)對一臺服務(wù)器），并逐步完善采集存儲模塊；然后將數(shù)據(jù)發(fā)布模塊與采集存儲模塊組合起來，進(jìn)行性能分析；再將服務(wù)端程序與其它型號采集機(jī)進(jìn)行調(diào)試，完善服務(wù)端程序。后續(xù)計劃1：目前，采集存儲模塊基本搭建完畢。13ThankYou!ThankYou!14初步方案TM數(shù)據(jù)采集組實(shí)時數(shù)據(jù)采集系統(tǒng)設(shè)計與實(shí)現(xiàn)

TM匯報人：黃文君導(dǎo)師：王華忠2012-11-16初步方案TM數(shù)據(jù)采集組實(shí)時數(shù)據(jù)采集系統(tǒng)設(shè)計與實(shí)現(xiàn)15后續(xù)計劃系統(tǒng)實(shí)現(xiàn)系統(tǒng)設(shè)計需求分析目錄后續(xù)計劃系統(tǒng)實(shí)現(xiàn)系統(tǒng)設(shè)計需求分析目錄16預(yù)期：為EAST的持續(xù)放電設(shè)計一套基于mdsplus的實(shí)時數(shù)據(jù)采集系統(tǒng)（系統(tǒng)要求：實(shí)時，高采樣率，穩(wěn)定）需求分析數(shù)據(jù)存儲形式在聚變領(lǐng)域更國際化，易訪問

Mdsplus：存儲數(shù)據(jù)多樣化；多語言訪問；存儲效率高Decompress算法原始dat文件Lzo文件Compress算法數(shù)據(jù)存儲訪問更實(shí)時，高效預(yù)期：為EAST的持續(xù)放電設(shè)計一套基于mdsplus的實(shí)時數(shù)17系統(tǒng)設(shè)計客戶端EastScopeWebScope數(shù)據(jù)發(fā)布服務(wù)器跨網(wǎng)段：所網(wǎng)，采集網(wǎng)①RequestNAS數(shù)據(jù)存儲Request歷史炮號Request當(dāng)前炮號數(shù)據(jù)存儲服務(wù)器數(shù)據(jù)發(fā)布模塊采集存儲模塊MOVE2000多道信號采集控制臺TCP/IP傳輸系統(tǒng)設(shè)計客戶端數(shù)據(jù)發(fā)布服務(wù)器①RequestNAS數(shù)據(jù)存儲R18采集存儲模塊-分時間片機(jī)制+雙緩沖基本原理： 將整個長的時間片分成一段段的時間片，以時間片為單位，這樣就能實(shí)時看到某個時間片的數(shù)據(jù)，無需等到一炮實(shí)驗結(jié)束后，才能看到數(shù)據(jù)。。。。0~5s5~10s995~1000sEmpty（0~5s）（15~20S)Occupied(5s-10s)(20s-25s)生產(chǎn)者

消費(fèi)者采集存儲模塊基本原理：。。。。0~5s5~10s995~1019存儲模式修改-雙緩沖模式性能分析雙緩沖模式：分析1：當(dāng)采用雙緩沖時，如果消費(fèi)者速度慢，Occupied數(shù)據(jù)沒拿走，生產(chǎn)者又寫數(shù)據(jù)進(jìn)去了，那數(shù)據(jù)丟失了。如果多緩沖，那生產(chǎn)者，消費(fèi)者每次檢查緩沖數(shù)據(jù)過多，代價更大分析2：兩者都需要時刻主動循環(huán)檢查緩沖區(qū)狀況，這樣浪費(fèi)計算機(jī)資源，盲目性比較大分析1:(具體分析)以每臺服務(wù)器承擔(dān)兩臺采集機(jī)而言：每個通道大?。?50K*5s*2B=2.5MB服務(wù)器承載數(shù)據(jù)量大小為2.5MB*100（通道數(shù)/臺）*2臺=500MB以千兆網(wǎng)絡(luò)端口（傳輸速度125MB/S）,端口接收時間5s(但網(wǎng)絡(luò)擁塞處理機(jī)制)

但是存儲速度,每個通道大概0.04s~0.08s（<100MB/s）,但是當(dāng)并發(fā)程度大時，會出現(xiàn)速度的不確定性（會出現(xiàn)5s內(nèi)無法將所有通道數(shù)據(jù)存儲起來）。雙緩沖模式?jīng)]有緩沖存儲機(jī)制，如果當(dāng)前緩沖沒有存儲完畢，數(shù)據(jù)會被覆蓋。存儲模式修改雙緩沖模式：分析1:(具體分析)以每臺服務(wù)器20生產(chǎn)者

消費(fèi)者存儲模式修改-生產(chǎn)者/消費(fèi)者模式分析Flag_p=0P(prod_sem)//prod_sem—產(chǎn)生數(shù)據(jù)->buf(Flag_p++)V(cons_sem)//cons_sem++信號量：prod_sem=mcons_sem=0Flag_c=0P(cons_sem)//prod_sem—buf(Flag_c++)->存儲起來V(prod_sem)//cons_sem++我不是龜速！生產(chǎn)者消費(fèi)者存儲模式修改Fla21核心代碼：封裝了三個信號量操作存儲模式修改-生產(chǎn)者/消費(fèi)者代碼存儲線程采集線程核心代碼：存儲模式修改存儲線程采集線程22存儲函數(shù)修改新函數(shù)特點(diǎn)：優(yōu)點(diǎn)：存儲數(shù)據(jù)的同時，存儲了時間。無需像以前需提前存儲時間軸

通過DIM_OF命令就能拿到時間，就能拿到縮略數(shù)據(jù)代碼足夠簡單，增大了服務(wù)端代碼的移植性 缺點(diǎn)：速度稍微慢了些（0.5MB，0.026948變到了0.04s），但是由于存儲模式的修改，影響不大。只是稍微增大了延時時間。存儲函數(shù)修改新函數(shù)特點(diǎn)：23存在的必要性：類似于googleMap（先顯示信號整體趨勢[2000個點(diǎn)]，再細(xì)看）解決方案：用空間換時間。單獨(dú)存儲縮略數(shù)據(jù)，供用戶第一次訪問；這樣所有用戶第一次訪問數(shù)據(jù)(A001)時，都不需要自己抽取數(shù)據(jù)，而只需要訪問縮略數(shù)據(jù)(A001_s)即可和以前不同點(diǎn)：盡量保持寫數(shù)據(jù)進(jìn)程的通用性，也為了提高寫數(shù)據(jù)進(jìn)程的速度。將寫縮略數(shù)據(jù)進(jìn)程剝離出來，寫數(shù)據(jù)進(jìn)程每隔20s通過消息隊列通知寫縮略進(jìn)程?？s略進(jìn)程就負(fù)責(zé)抽取數(shù)據(jù)；然后寫數(shù)據(jù)進(jìn)程繼續(xù)工作，不影響寫數(shù)據(jù)進(jìn)程速度?？s略數(shù)據(jù)修改SetTimeContext（起，終，(終-起）/2000）DIM_OFMdsValue(時間)MdsValue(數(shù)據(jù)）Build_signal(數(shù)據(jù)，時間)存在的必要性：類似于googleMap（先顯示信號整體趨勢24縮略數(shù)據(jù)代碼細(xì)節(jié)縮略數(shù)據(jù)代碼細(xì)節(jié)25存儲模式修改-細(xì)節(jié)修改1：多進(jìn)程調(diào)用比多線程調(diào)用，并發(fā)存儲速度要快。所以將原來的多線程程序改成現(xiàn)在的多進(jìn)程2：利用mdsplus的分布式特性，將east樹的脈沖樹的寫入，轉(zhuǎn)換成對多顆子樹（east_ts1,east_ts2..）的單獨(dú)寫入，減少并發(fā)性3：時間片拼接機(jī)制由于理論上每片60MB時Mdsplus讀寫性能最好，但是由于采集卡限制，實(shí)際中每片數(shù)據(jù)量250K*2s*2B=1MB；將小時間片拼接成一個更大的buf（內(nèi)存）；時間片選擇更加靈活4：為了提高服務(wù)器端代碼的通用性，在采集端將數(shù)據(jù)重新組裝好，服務(wù)端只需存儲數(shù)據(jù)，無需理解采集端存儲模式修改1：多進(jìn)程調(diào)用比多線程調(diào)用，并發(fā)存儲速度要快。所