客流統(tǒng)計(jì)項(xiàng)目技術(shù)報(bào)告ppt課件

1、基于雙目視覺(jué)的客流統(tǒng)計(jì)系統(tǒng)報(bào)告人：過(guò)嗣聰報(bào)告時(shí)間：2021年9月xx日概述雙目立體視覺(jué)引見(jiàn)立體匹配算法目的檢測(cè)與跟蹤總結(jié)雙目立體視覺(jué)引見(jiàn)什么是立體視覺(jué)立體視覺(jué)是利用兩個(gè)及以上的相機(jī)來(lái)丈量物體深度的技術(shù)屬于計(jì)算機(jī)視覺(jué)的一種實(shí)時(shí)性和硬件平臺(tái)實(shí)現(xiàn)是其研討重點(diǎn)之一普通相機(jī)單目左圖是相機(jī)成像的簡(jiǎn)化模型P、Q是視場(chǎng)中不同的兩點(diǎn)，但 他們?cè)趫D像上的投影確一樣: 圖像平面O: 光心透鏡中心 f: 焦距雙目相機(jī) 假設(shè)能找到兩幅圖像上的對(duì)應(yīng)點(diǎn)對(duì)應(yīng)空間中同一點(diǎn)，那么根據(jù)三角幾何關(guān)系，就能計(jì)算出該點(diǎn)的深度左目圖像右目圖像如何找出對(duì)應(yīng)點(diǎn) 二維搜索計(jì)算量非常宏大，而且很難找到全局最優(yōu)解 現(xiàn)實(shí)上，對(duì)應(yīng)點(diǎn)必定出如今對(duì)應(yīng)的極線

2、。極線約束條件右目圖像左目圖像 綠色實(shí)線表示右目圖像的一條極線，即紅色虛線上的點(diǎn)在右圖上的投影。極線約束指出，紅色虛線在左圖上的投影必定出如今右圖對(duì)應(yīng)的極線上。規(guī)范方式的雙目相機(jī) 為了方便計(jì)算，我們會(huì)把兩幅圖像矯正成規(guī)范方式圖像的掃描行就是極線，并且焦距堅(jiān)持一致。也就是說(shuō)，我們只需在圖像的掃描行上搜索對(duì)應(yīng)點(diǎn)即可。左目圖像右目圖像矯正前矯正后視差： - 視差和深度計(jì)算左圖參考圖右圖目的圖視差圖容易看出，物體越近，視差越大，對(duì)應(yīng)視差圖中越亮的部分 代表間隔的平面分布并不均勻，隨著間隔的添加，精度會(huì)急劇下降。但在公交客流統(tǒng)計(jì)中，檢測(cè)深度普通不會(huì)超越3米，可以到達(dá)精度要求。空間被分解成一個(gè)個(gè)離散的平面

3、，代表不同間隔，對(duì)應(yīng)不同的視差。雙目視覺(jué)系統(tǒng)普通流程目的是計(jì)算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)內(nèi)部參數(shù)：焦距，圖像主點(diǎn)位置，鏡頭失真參數(shù)外部參數(shù)：平移矩陣T、旋轉(zhuǎn)矩陣R相機(jī)標(biāo)定離線矯正前矯正后圖像矯正目的是有二：去除鏡頭的桶形失真使得圖像對(duì)變成規(guī)范方式，即行對(duì)準(zhǔn)立體匹配的目的就是找到圖像對(duì)之間的匹配點(diǎn)，進(jìn)而得到視差立體匹配到此，我們獲得了視差圖，基線b，焦距f，深度計(jì)算公式。在結(jié)合三角幾何公式，就能計(jì)算一切圖像點(diǎn)在三維空間中的位置X,Y,Z深度圖計(jì)算立體匹配算法立體匹配算法部分匹配：速度較快，精度不高全局匹配：速度較慢，精度較高立體匹配算法Scharstein and Szeliski 指出立體匹

4、配算法通常包含以下4個(gè)步驟或其中的幾個(gè)：匹配代價(jià)計(jì)算代價(jià)積累視差計(jì)算/優(yōu)化視差提精部分匹配算法：1-2-3(直接用WTA求解)全局匹配算法：1-3全局或半全局優(yōu)化后再用WTA求解匹配代價(jià)計(jì)算匹配代價(jià)是指基準(zhǔn)圖像左圖上一點(diǎn)p與目的圖像右圖上能夠的匹配點(diǎn)q的類(lèi)似性度量:這里引見(jiàn)2種像素級(jí)的類(lèi)似性度量：基于灰度差分的匹配代價(jià)Birchfield and Tomasi基于Census變換的匹配代價(jià)BT匹配代價(jià)Birchfield and Tomasi把p和q的灰度差的絕對(duì)值定義為匹配：改良方式：基于Census變換的匹配代價(jià)首先，對(duì)圖像進(jìn)展統(tǒng)計(jì)變換Census Transform，該變換定義為：以3x

5、3窗口為例，比較此窗口中每個(gè)像素值與中心像素值的大小，假設(shè)比中心像素值小，那么比較結(jié)果為1，否那么為0。然后把這些結(jié)果組成一個(gè)二進(jìn)制的數(shù)，并替代當(dāng)前像素值1101 0100 (212)漢明間隔對(duì)于兩個(gè)等長(zhǎng)字符串s1與s2，他們之間的漢明間隔就是相應(yīng)位置上存在不同字符的數(shù)量。例如字符串“1111與“1001之間的漢明間隔為2。計(jì)算方法：Cost = POPCNTs1 XOR s2注：POPCNT計(jì)算一個(gè)二進(jìn)制數(shù)中“1的位數(shù)視差空間(Disparity Space)根據(jù)前面的代價(jià)計(jì)算，對(duì)于基準(zhǔn)圖像上一點(diǎn)p及視差d，總有：如圖，x-y平面表示圖像平面，d軸表示視差從0變化，那么對(duì)于一個(gè)三維坐標(biāo)(x,

6、 y, d),就有C(x, y, d) = Cost。所以視差空間是一個(gè)三維數(shù)組，里面存放的是匹配代價(jià)視差計(jì)算COST那么，計(jì)算圖像視差的過(guò)程就變成：遍歷每個(gè)像素點(diǎn)，計(jì)算使得當(dāng)前代價(jià)C(x, y, d) 最小的d，即winner-take-allWTA。匹配代價(jià)是定義在像素等級(jí)上的，像素與像素之間短少聯(lián)絡(luò)，那么，相應(yīng)的視差圖會(huì)存在大量的視差不延續(xù)的點(diǎn)視差優(yōu)化Hirschmuller提出了Semi-Global Matching，用于平滑視差圖：在x-y平面上按照某一方向r，遍歷每一個(gè)p(x, y)，第一項(xiàng)表示點(diǎn)p視差為d時(shí)的匹配代價(jià)；第二項(xiàng)表示視差平滑約束，p-r表示r方向上前一個(gè)像素點(diǎn)，表示

7、當(dāng)前像素與前一個(gè)像素相比視差改動(dòng)較小時(shí)給予的懲罰，用于平滑物體外表的紋理，而表示視差改動(dòng)較大時(shí)的懲罰，用于平滑物體邊緣的視差不延續(xù)，并且必需保證；第三項(xiàng)用于限制匹配代價(jià)的增長(zhǎng)，所以匹配代價(jià)的上限是如圖是沿著從右到左方向代價(jià)積累后得到視差圖，可以看出視差圖延續(xù)性上曾經(jīng)有了明顯的提高，但存在明顯的拖尾效應(yīng)，這是由于圖像在程度方向上約束太強(qiáng)，而豎直方向上約束太弱呵斥的因此，我們可以在多個(gè)方向上分別進(jìn)展代價(jià)積累，再把多個(gè)方向的視差空間進(jìn)展疊加，由此計(jì)算視差圖可大大減少拖尾效應(yīng)視差優(yōu)化一致性檢查 類(lèi)似地，我們可以計(jì)算出右圖對(duì)應(yīng)的視差圖，并按照下式一致性檢查，其中p、q表示一組對(duì)應(yīng)點(diǎn)左視差圖右視差圖視差精

8、化異常值濾波 一致性檢查并不能去除一切異常值，視差圖仍會(huì)殘留一些小面積的異常值。我們運(yùn)用基于連通域標(biāo)志的異常值濾波器刪除了這些異常塊視差精化無(wú)效區(qū)域插值視差圖經(jīng)過(guò)一致性檢測(cè)后留下的視差無(wú)效區(qū)域，應(yīng)該分為遮擋區(qū)域和誤匹配區(qū)域，這是由于對(duì)于遮擋區(qū)域和誤匹配區(qū)域的插值戰(zhàn)略是截然不同，必需區(qū)別對(duì)待。圖中遮擋點(diǎn)p1的極線穿過(guò)中視差不延續(xù)處，而誤匹配點(diǎn)p2與相交。與代價(jià)積累中從8個(gè)方向搜索類(lèi)似，對(duì)于每一個(gè)無(wú)效點(diǎn)，周?chē)?個(gè)視差值都會(huì)保管下來(lái)，然后按照下面的式子插值：第一項(xiàng)取第二小的視差值，保證了遮擋點(diǎn)的視差來(lái)自較低一級(jí)的背景，而第二項(xiàng)取中值，強(qiáng)調(diào)利用一切周?chē)男畔⒁暡罹療o(wú)效區(qū)域插值目的檢測(cè)與跟蹤三維重建

9、三維重建是指依托一些技術(shù)手段從視差圖恢復(fù)出目的的三維信息，使目的檢測(cè)更加準(zhǔn)確。右側(cè)是經(jīng)過(guò)顏色編碼的視差圖，顏色越暖表示離攝像頭越近，反之那么越遠(yuǎn)，容易看出圖中兩個(gè)偏暖的區(qū)域分別對(duì)應(yīng)左側(cè)圖像中的兩個(gè)人。目的檢測(cè)乘客被建模成一個(gè)橢圓型的金字塔，其特征向量表示為：橢圓參數(shù)包括：長(zhǎng)短軸、離心率、面積、中心坐標(biāo)、高度等等。目的跟蹤假設(shè)前一幀圖像中有m個(gè)目的，對(duì)應(yīng)m個(gè)特征向量，而當(dāng)前圖像幀中有n個(gè)目的，對(duì)應(yīng)n個(gè)特征向量，類(lèi)似函數(shù)S(i, j)表示前一幀第i個(gè)目的和當(dāng)前幀第j目的的類(lèi)似度。12jn1S(1, 1)S(1, 2)S(1, j)S(1, n)2S(2, 1)S(2, 2)S(2, j)S(2,

10、n)iS(i, 1)S(i, 2)S(i, j)S(i, j)mS(m, 1)S(m, 2)S(m, j)S(m, n)第k-1幀第k幀總結(jié)系統(tǒng)框架設(shè)計(jì) 該工程開(kāi)發(fā)了一種可以實(shí)時(shí)監(jiān)測(cè)公交車(chē)內(nèi)客流量的系統(tǒng)，其中雙目攝像頭安裝在接近車(chē)門(mén)的車(chē)頂處，并垂直向下拍攝，同時(shí)采集兩路視頻。 雙目視覺(jué)技術(shù)可以感知物體的深度，可以很好地抑制單目視覺(jué)技術(shù)對(duì)光線陰影敏感，無(wú)法檢測(cè)擁堵客流及無(wú)法排除類(lèi)人物體等問(wèn)題。算法框架設(shè)計(jì)原始圖像對(duì)圖像矯正立體匹配背景差分注：較小的橢圓對(duì)應(yīng)較高的位置，多個(gè)橢圓疊加構(gòu)成類(lèi)金字塔目的檢測(cè)目的跟蹤存在的問(wèn)題視差圖中的目的外形、高度各異，特別是在擁堵時(shí)，多個(gè)目的會(huì)銜接在一同?；谔卣鞯膯?/p>

11、發(fā)式目的檢測(cè)方法并不能100%地檢測(cè)出目的。在視差圖中，特征向量會(huì)隨目的運(yùn)動(dòng)而變化，因此目的的坐標(biāo)在類(lèi)似性測(cè)度當(dāng)中占了較高的權(quán)重?，F(xiàn)有的跟蹤邏輯比較單一，當(dāng)目的的特征向量極為類(lèi)似時(shí)，會(huì)出現(xiàn)誤跟蹤的情況。參考文獻(xiàn)/stereo/data/Depth discontinuities by pixel to pixel stereoA Census-Based Stereo Vision Algorithm Using Modied Semi-Global Matching and Plane Fitting to Improve Matching QualityStereo Processing by Semi-global Matching and Mutual InformationUsing real-time stereo vision for mobile robot navigationvision.calte