客流統(tǒng)計項目技術(shù)報告課件

基于雙目視覺的客流統(tǒng)計系統(tǒng)1報告人：過嗣聰報告時間：2016年9月xx日概述雙目立體視覺介紹立體匹配算法目標檢測與跟蹤總結(jié)2雙目立體視覺介紹3什么是立體視覺立體視覺是利用兩個及以上的相機來測量物體深度的技術(shù)屬于計算機視覺的一種實時性和硬件平臺實現(xiàn)是其研究重點之一4普通相機（單目）左圖是相機成像的簡化模型P、Q是視場中不同的兩點，但 他們在圖像上的投影確相同5雙目相機如果能找到兩幅圖像上的對應(yīng)點（對應(yīng)空間中同一點），那么根據(jù)三角幾何關(guān)系，就能計算出該點的深度左目圖像6右目圖像如何找出對應(yīng)點二維搜索計算量十分巨大，而且很難找到全局最優(yōu)解事實上，對應(yīng)點必定出現(xiàn)在對應(yīng)的極線。7極線約束條件右目圖像左目圖像綠色實線表示右目圖像的一條極線，即紅色虛線上的點在右圖上的投影。極線約束指出，紅色虛線在左圖上的投影必定出現(xiàn)在右圖對應(yīng)的極線上。8標準形式的雙目相機為了方便計算，我們會把兩幅圖像矯正成標準形式——圖像的掃描行就是極線，并且焦距保持一致。也就是說，我們只需在圖像的掃描行上搜索對應(yīng)點即可。左目圖像9右目圖像矯正前矯正后10視差和深度計算11左圖（參考圖）右圖（目標圖）視差圖容易看出，物體越近，視差越大，對應(yīng)視差圖中越亮的部分12代表距離的平面分布并不均勻，隨著距離的增加，精度會急劇下降。但在公交客流統(tǒng)計中，檢測深度一般不會超過3米，可以達到精度要求。13空間被分解成一

個個離散的平面，代表不同距離，

對應(yīng)不同的視差。雙目視覺系統(tǒng)一般流程14目的是計算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)內(nèi)部參數(shù)：焦距，圖像主點位置，鏡頭失真參數(shù)外部參數(shù)：平移矩陣T、旋轉(zhuǎn)矩陣R相機標定（離線）15矯正前圖像矯正矯正后16目的是有二：去除鏡頭的桶形失真使得圖像對變成標準形式，即行對準立體匹配的目的就是找到圖像對之間的匹配點，進而得到視差立體匹配17到此，我們獲得了視差圖，基線b，焦距f，深度計算公式。在結(jié)合三角幾何公式，就能計算所有圖像點在三維空間中的位置（X,Y,Z）18深度圖計算立體匹配算法19立體匹配算法局部匹配：速度較快，精度不高全局匹配：速度較慢，精度較高20立體匹配算法21Scharstein

and

Szeliski指出立體匹配算法通常包含以下4個步驟（或其中的幾個）：匹配代價計算代價積累視差計算/優(yōu)化視差提精局部匹配算法：1->2->3(直接用WTA求解)全局匹配算法：1->3（全局或半全局優(yōu)化后再用WTA求解）匹配代價計算這里介紹2種像素級的相似性度量：基于灰度差分的匹配代價（Birchfield

and

Tomasi）基于Census變換的匹配代價22BT匹配代價改進形式：23基于Census變換的匹配代價首先，對圖像進行統(tǒng)計變換（Census

Transform），該變換定義為：以3x3窗口為例，比較此窗口中每個像素值與中心像素值的大小，如果比中心像素值小，則比較結(jié)果為1，否則為0。然后把這些結(jié)果組成一個二進制的數(shù)，并代替當

前像素值1101

0100(212)24漢明距離25對于兩個等長字符串s1與s2，他們之間的漢明距離就是相應(yīng)位置上存在不同字符的數(shù)量。例如字符串“1111”與“1001”之間的漢明距離為2。計算方法：Cost=POPCNT（s1

XOR

s2）注：POPCNT計算一個二進制數(shù)中“1”的位數(shù)視差空間(Disparity

Space)根據(jù)前面的代價計算，對于基準圖像上一點p及視差d，總有：26視差計算COST那么，計算圖像視差的過程就變成：遍歷每個像素點，計算使得當前代價

C(x,y,d)最小的d，即winner-take-all（WTA）。匹配代價是定義在像素等級上的，像素與像素之間缺少聯(lián)系，那么，相應(yīng)的視差圖會存在大量的視差不連續(xù)的點27視差優(yōu)化Hirschmuller提出了Semi-Global

Matching，用于平滑視差圖：28如圖是沿著從右到左方向代價積累后得到視差圖，可以看出視差圖連續(xù)性上已經(jīng)有了明顯的提高，但存在明顯的拖尾效應(yīng)，這是因為圖像在水平方向上約束太強，而豎直方向上約束太弱造成的因此，我們可以在多個方向上分別進行代價積累，再把多個方向的視差空間進行疊加，由此計算視差圖可大大減少拖尾效應(yīng)視差優(yōu)化29一致性檢查類似地，我們可以計算出右圖對應(yīng)的視差圖，并按照下式一致性檢查，其中p、q表示一組對應(yīng)點左視差圖右視差圖30視差精化—異常值濾波31一致性檢查并不能去除所有異常值，視差圖仍會殘留一些小面積的異常值。我們使用基于連通域標記的異常值濾波器刪除了這些異常塊視差精化—無效區(qū)域插值視差圖經(jīng)過一致性檢測后留下的視差無效區(qū)域，應(yīng)該分為遮擋區(qū)域和誤匹配區(qū)域，這是因為對于遮擋區(qū)域和誤匹配區(qū)域的插值策略是截然不同，必須區(qū)別對待。32與代價積累中從8個方向搜索類似，對于每一個無效點，周圍的8個視差值都會保存下來，然后按照下面的式子插值：第一項取第二小的視差值，保證了遮擋點的視差來自較低一級的背景，而第二項取中值，強調(diào)利用所有周圍的信息33視差精化—無效區(qū)域插值目標檢測與跟蹤34三維重建三維重建是指依靠一些技術(shù)手段從視差圖恢復(fù)出目標的三維信息，使目標檢測更加準確。右側(cè)是經(jīng)過顏色編碼的視差圖，顏色越暖表示離攝像頭越近，反之則越遠，容易看出圖中兩個偏暖的區(qū)域分別對應(yīng)左側(cè)圖像中的兩個人。35目標檢測乘客被建模成一個橢圓型的金字塔，其特征向量表示為：橢圓參數(shù)包括：長短軸、離心率、面積、中心坐標、高度等等。36目標跟蹤假設(shè)前一幀圖像中有m個目標，對應(yīng)m個特征向量，而當前圖像幀中有

n 個目標，對應(yīng)

n 個特征向量，相似函數(shù)

S(i,

j) 表示前一幀第

i

個和當前幀第j目標的相似度。12jn1S(1,

1)S(1,

2)S(1,

j)S(1,

n)2S(2,

1)S(2,

2)S(2,

j)S(2,n)iS(i,

1)S(i,

2)S(i,

j)S(i,

j)mS(m,

1)S(m,

2)S(m,

j)S(m,

n)第k-1幀37第k幀總結(jié)38該項目開發(fā)了一種能夠?qū)崟r監(jiān)測公交車內(nèi)客流量的系統(tǒng)，其車頂處，并垂直向下拍攝，同時的深度，能夠很好地克服單目視測擁擠客流及無法排除類人物體的體檢中雙目攝像頭安裝在靠近車門采集兩路視頻。雙目視覺技術(shù)可以感知物覺技術(shù)對光線陰影敏感，無法等問題。原算系圖始法統(tǒng)像圖框矯像架正對設(shè)計注：較小的橢圓對應(yīng)較高的位置，多個橢圓疊加形成類金字塔立背目體景標匹差跟檢配分蹤測39存在的問題視差圖中的目標形狀、高度各異，特別是在擁擠時，多個目標會連接在一起?；谔卣鞯膯l(fā)式目標檢測方法并不能100%地檢測出目標。在視差圖中，特征向量會隨目標運動而變化，因此目標的坐標在相似性測度當中占了較高的權(quán)重。現(xiàn)有的跟蹤邏輯比較單一，當目標的特征向量極為相似時，會出現(xiàn)誤跟蹤的情況。40參考文獻41?

增強品質(zhì)意識，強化安全觀念。10月-2310月-23Saturday,

October

21,2023?

是建立潔凈亮麗，整齊舒適，安全高效的法寶。08:45:50

08:45:50

08:45

10/21/2023

8:45:50

AM?

清潔-擁有清爽明亮的工作環(huán)境。10月-2308:45:50

08:45

Oct-2321-Oct-23?

太太平平萬家康樂，安安順順事業(yè)騰飛。08:45:50

08:45:50

08:45

Saturday,

October

21,2023?

質(zhì)量是交通建設(shè)的靈魂和生命。10月-2310月-2308:45:50

08:45:50

October

21,2023?

麻痹是最大的隱患失職是最大的禍根。2023年10月21日8:45上午10月-2310月-23?

一心一意保安全，同心同德謀發(fā)展。21十月2023

8:45:50上午08:45:50

10月-23?

隱患不除，危機四伏。十月238:45上午10月-2308:45

October

21,2023?

市場調(diào)查勤分析，掌握顧客之所需。2023/10/21

8:45:50

08:45:50

21

October

2023?

以廠為校，以廠為家，互相學(xué)習(xí)，互相關(guān)懷。8:45:50上午8:45上午08:45:50

10月-23?

學(xué)一分消防知識