大數(shù)據(jù)應(yīng)用基礎(chǔ)-圖像數(shù)據(jù)課件

圖像數(shù)據(jù)大數(shù)據(jù)應(yīng)用基礎(chǔ)魏煒1圖像數(shù)據(jù)大數(shù)據(jù)應(yīng)用基礎(chǔ)1計(jì)算機(jī)視覺(jué)的重要性圖像是信息的重要載體。人類(lèi)獲取外界信息中，80%左右來(lái)自視覺(jué)。2計(jì)算機(jī)視覺(jué)的重要性圖像是信息的重要載體。2計(jì)算機(jī)視覺(jué)的基本原理首先，從圖片中提取出特征。這個(gè)特征不僅是每個(gè)像素的顏色，更重要的是更高級(jí)的特征，例如形狀、甚至圖片中物體的名稱(chēng)。進(jìn)而，可以對(duì)大量圖片進(jìn)行聚類(lèi)、分類(lèi)、搜索。3計(jì)算機(jī)視覺(jué)的基本原理首先，從圖片中提取出特征。3計(jì)算機(jī)視覺(jué)的主要輔助技術(shù)圖像壓縮：可以減少描述圖像所用的數(shù)據(jù)量。圖像增強(qiáng)和復(fù)原：這是一種圖像預(yù)處理。目的是提高圖像質(zhì)量，使圖像更加清晰。圖像分割：把圖像中有意義的部分提取出來(lái)，例如邊緣、區(qū)域等。圖像融合：把幾個(gè)關(guān)于某一場(chǎng)景的圖像合并，最大限度地利用多個(gè)圖像來(lái)源之間的互補(bǔ)信息，生成一個(gè)新圖像。4計(jì)算機(jī)視覺(jué)的主要輔助技術(shù)圖像壓縮：可以減少描述圖像所用的數(shù)據(jù)如何對(duì)韓國(guó)美女進(jìn)行人臉識(shí)別2013年韓國(guó)選美競(jìng)賽的20名參賽美女。對(duì)參賽選手進(jìn)行人臉識(shí)別頗有難度。發(fā)型識(shí)別呢？5如何對(duì)韓國(guó)美女進(jìn)行人臉識(shí)別2013年韓國(guó)選美競(jìng)賽的20名參賽重點(diǎn)：人臉拍攝人臉，就能識(shí)別出這個(gè)人的表情：Emotient、Affectiva拍攝人臉，就能在人臉數(shù)據(jù)庫(kù)找出與其相似的人臉：百度魔圖、北京曠視科技的Face++。人臉數(shù)據(jù)庫(kù)可以是明星臉數(shù)據(jù)庫(kù)（百度）、也可以是社交媒體上的全部頭像（Face++）、也可以是罪犯人臉數(shù)據(jù)庫(kù)（MorphoTrust）從視頻中識(shí)別出含有某明星的片段：Orbeus身份識(shí)別——例如，F(xiàn)ace++的云臉應(yīng)用鎖、灝瀧智能科技的FaceEID人臉身份實(shí)證、杭州熱和科技檢測(cè)駕駛員疲勞駕駛精神狀態(tài)，并進(jìn)行預(yù)警：灝瀧智能科技6重點(diǎn)：人臉拍攝人臉，就能識(shí)別出這個(gè)人的表情：Emotient人臉：識(shí)別表情、性別、年齡、種族曠視科技：目前只能識(shí)別微笑程度不能識(shí)別其他情緒7人臉：識(shí)別表情、性別、年齡、種族曠視科技：7人臉驗(yàn)證8人臉驗(yàn)證8重點(diǎn)：物品拍攝任意一個(gè)物品，就能給出物品的名稱(chēng)：Camfind、百度輕拍拍攝紙媒內(nèi)容（例如廣告、海報(bào)），就能鏈接到這個(gè)商品的零售網(wǎng)頁(yè)，或者得到商家優(yōu)惠券：Target公司的InaSnap手機(jī)應(yīng)用、騰訊、基美文化傳媒的基美耀拍APP（與亮風(fēng)臺(tái)合作開(kāi)發(fā)）、億拍天下拍攝一件衣服，就能在零售商數(shù)據(jù)庫(kù)中找到這件衣服，或者相似的衣服：SnapFashion、Style-Eyes、Slyce、搜鞋客、圖圖搜衣、亮風(fēng)臺(tái)9重點(diǎn)：物品拍攝任意一個(gè)物品，就能給出物品的名稱(chēng)：Camfin重點(diǎn)：物品拍攝一個(gè)商品，就能在零售商數(shù)據(jù)庫(kù)中找出這件商品及同款商品的介紹、評(píng)論，并進(jìn)行比價(jià)，而且能進(jìn)行購(gòu)買(mǎi)：Viscovery、北京同創(chuàng)網(wǎng)訊、百度與唯品會(huì)的合作拍攝一個(gè)景點(diǎn)，就能給出這個(gè)景點(diǎn)的名稱(chēng)、介紹：亮風(fēng)臺(tái)拍攝一件展品，就能在數(shù)據(jù)庫(kù)中找出這件展品的介紹：Guidico10重點(diǎn)：物品拍攝一個(gè)商品，就能在零售商數(shù)據(jù)庫(kù)中找出這件商品及同1111物品拍攝葡萄酒酒標(biāo)，就能給出商品信息、并進(jìn)行比價(jià)、購(gòu)買(mǎi)：佛山市咔嚓購(gòu)的酒咔嚓APP。12物品拍攝葡萄酒酒標(biāo)，就能給出商品信息、并進(jìn)行比價(jià)、購(gòu)買(mǎi)：佛山物品拍攝一組食物，就能給出這些食物的營(yíng)養(yǎng)含量：芯草莓科技的微營(yíng)養(yǎng)App。13物品拍攝一組食物，就能給出這些食物的營(yíng)養(yǎng)含量：芯草莓科技的微物品拍一個(gè)應(yīng)用圖標(biāo)，能識(shí)別出這是什么APP：亮風(fēng)臺(tái)的應(yīng)用拍拍APP14物品拍一個(gè)應(yīng)用圖標(biāo)，能識(shí)別出這是什么APP：亮風(fēng)臺(tái)的應(yīng)用拍拍文字拍攝外語(yǔ)文字，就能給出翻譯：Viscovery、曠視科技拍攝一個(gè)數(shù)學(xué)題，就能給出答案和解析：學(xué)習(xí)寶15文字拍攝外語(yǔ)文字，就能給出翻譯：Viscovery、曠視科技有一些公司采用了深度學(xué)習(xí)百度Orbeus曠視科技DNNresearchIQEnginesLooknowClarifaiJetpac16有一些公司采用了深度學(xué)習(xí)百度16重點(diǎn)：基礎(chǔ)服務(wù)：基于深度學(xué)習(xí)的圖片搜索以圖搜圖：百度、谷歌百度能識(shí)別出圖片中的元素，例如河流、倒影、建筑、樹(shù)木、白云、藍(lán)天等。拍攝圖片，就能根據(jù)圖中包含的元素生成一首詩(shī)：百度為你寫(xiě)詩(shī)識(shí)別出畫(huà)作中的視覺(jué)概念，例如鴨子、走路、死尸，進(jìn)而根據(jù)描述性詞匯組成的向量，用自然語(yǔ)言處理比較不同畫(huà)作之間的相似度：達(dá)特茅斯學(xué)院和微軟劍橋研究院17重點(diǎn)：基礎(chǔ)服務(wù)：基于深度學(xué)習(xí)的圖片搜索以圖搜圖：百度、谷歌1重點(diǎn)：基礎(chǔ)服務(wù)：基于深度學(xué)習(xí)的圖片自動(dòng)分類(lèi)給照片自動(dòng)加標(biāo)簽、歸類(lèi)，進(jìn)而可以用關(guān)鍵詞搜索圖片：Orbeus、Madbits、百度云18重點(diǎn)：基礎(chǔ)服務(wù)：基于深度學(xué)習(xí)的圖片自動(dòng)分類(lèi)給照片自動(dòng)加標(biāo)簽、和互聯(lián)網(wǎng)廣告結(jié)合根據(jù)網(wǎng)頁(yè)上的圖片，判斷應(yīng)該給這個(gè)網(wǎng)頁(yè)的訪(fǎng)問(wèn)者展示什么廣告：Cortica以往的互聯(lián)網(wǎng)廣告都是基于用戶(hù)訪(fǎng)問(wèn)的網(wǎng)頁(yè)中的文本內(nèi)容了解用戶(hù)的興趣，而沒(méi)有考慮到圖片內(nèi)容。19和互聯(lián)網(wǎng)廣告結(jié)合根據(jù)網(wǎng)頁(yè)上的圖片，判斷應(yīng)該給這個(gè)網(wǎng)頁(yè)的訪(fǎng)問(wèn)者重點(diǎn)：圖像輸入的來(lái)源手機(jī)攝像頭谷歌眼鏡、百度眼鏡20重點(diǎn)：圖像輸入的來(lái)源手機(jī)攝像頭20重點(diǎn)：物品識(shí)別準(zhǔn)確率的挑戰(zhàn)物品形變會(huì)影響某些物品的識(shí)別。例如：同一件服裝隨著人的姿勢(shì)不同，會(huì)發(fā)生很多形狀上的變化。相比之下，建筑物的識(shí)別要容易很多。拍攝角度也會(huì)影響人臉、服裝等的識(shí)別燈光明暗、物體反光也會(huì)影響物體識(shí)別。拍攝焦距也會(huì)影響物體識(shí)別?；瘖y也會(huì)影響人臉識(shí)別干擾圖像的遮擋會(huì)影響對(duì)商品圖片的識(shí)別21重點(diǎn)：物品識(shí)別準(zhǔn)確率的挑戰(zhàn)物品形變會(huì)影響某些物品的識(shí)別。例如一種加強(qiáng)人臉識(shí)別率的策略把所有人臉圖形都調(diào)整到正面照角度，然后生成給每個(gè)人臉正面照生成一個(gè)3D模型。在這些3D模型之間進(jìn)行比較，就更加準(zhǔn)確。22一種加強(qiáng)人臉識(shí)別率的策略把所有人臉圖形都調(diào)整到正面照角度，然如何降低對(duì)于隱私的擔(dān)憂(yōu)盡量少把圖像存儲(chǔ)在云端先不把技術(shù)用于涉及隱私的行業(yè)23如何降低對(duì)于隱私的擔(dān)憂(yōu)盡量少把圖像存儲(chǔ)在云端23重點(diǎn)：圖像識(shí)別底層技術(shù)的開(kāi)放一些公司通過(guò)以下方式，把底層的技術(shù)開(kāi)放給廣大的、成千上萬(wàn)的開(kāi)發(fā)者，由他們來(lái)設(shè)計(jì)各種各樣的應(yīng)用。云端API離線(xiàn)SDK開(kāi)發(fā)包例如：騰訊、Face++24重點(diǎn)：圖像識(shí)別底層技術(shù)的開(kāi)放一些公司通過(guò)以下方式，把底層的技語(yǔ)音識(shí)別技術(shù)也一樣有些公司側(cè)重于底層技術(shù)，把API和SDK開(kāi)放給廣大的應(yīng)用開(kāi)發(fā)者：例如，云知聲另一些公司在別的公司提供的底層技術(shù)基礎(chǔ)上，開(kāi)發(fā)具體的應(yīng)用app。還有些公司不僅做底層，也做應(yīng)用：例如羽扇智公司。25語(yǔ)音識(shí)別技術(shù)也一樣有些公司側(cè)重于底層技術(shù)，把API和SDK開(kāi)圖像數(shù)據(jù)大數(shù)據(jù)應(yīng)用基礎(chǔ)魏煒26圖像數(shù)據(jù)大數(shù)據(jù)應(yīng)用基礎(chǔ)1計(jì)算機(jī)視覺(jué)的重要性圖像是信息的重要載體。人類(lèi)獲取外界信息中，80%左右來(lái)自視覺(jué)。27計(jì)算機(jī)視覺(jué)的重要性圖像是信息的重要載體。2計(jì)算機(jī)視覺(jué)的基本原理首先，從圖片中提取出特征。這個(gè)特征不僅是每個(gè)像素的顏色，更重要的是更高級(jí)的特征，例如形狀、甚至圖片中物體的名稱(chēng)。進(jìn)而，可以對(duì)大量圖片進(jìn)行聚類(lèi)、分類(lèi)、搜索。28計(jì)算機(jī)視覺(jué)的基本原理首先，從圖片中提取出特征。3計(jì)算機(jī)視覺(jué)的主要輔助技術(shù)圖像壓縮：可以減少描述圖像所用的數(shù)據(jù)量。圖像增強(qiáng)和復(fù)原：這是一種圖像預(yù)處理。目的是提高圖像質(zhì)量，使圖像更加清晰。圖像分割：把圖像中有意義的部分提取出來(lái)，例如邊緣、區(qū)域等。圖像融合：把幾個(gè)關(guān)于某一場(chǎng)景的圖像合并，最大限度地利用多個(gè)圖像來(lái)源之間的互補(bǔ)信息，生成一個(gè)新圖像。29計(jì)算機(jī)視覺(jué)的主要輔助技術(shù)圖像壓縮：可以減少描述圖像所用的數(shù)據(jù)如何對(duì)韓國(guó)美女進(jìn)行人臉識(shí)別2013年韓國(guó)選美競(jìng)賽的20名參賽美女。對(duì)參賽選手進(jìn)行人臉識(shí)別頗有難度。發(fā)型識(shí)別呢？30如何對(duì)韓國(guó)美女進(jìn)行人臉識(shí)別2013年韓國(guó)選美競(jìng)賽的20名參賽重點(diǎn)：人臉拍攝人臉，就能識(shí)別出這個(gè)人的表情：Emotient、Affectiva拍攝人臉，就能在人臉數(shù)據(jù)庫(kù)找出與其相似的人臉：百度魔圖、北京曠視科技的Face++。人臉數(shù)據(jù)庫(kù)可以是明星臉數(shù)據(jù)庫(kù)（百度）、也可以是社交媒體上的全部頭像（Face++）、也可以是罪犯人臉數(shù)據(jù)庫(kù)（MorphoTrust）從視頻中識(shí)別出含有某明星的片段：Orbeus身份識(shí)別——例如，F(xiàn)ace++的云臉應(yīng)用鎖、灝瀧智能科技的FaceEID人臉身份實(shí)證、杭州熱和科技檢測(cè)駕駛員疲勞駕駛精神狀態(tài)，并進(jìn)行預(yù)警：灝瀧智能科技31重點(diǎn)：人臉拍攝人臉，就能識(shí)別出這個(gè)人的表情：Emotient人臉：識(shí)別表情、性別、年齡、種族曠視科技：目前只能識(shí)別微笑程度不能識(shí)別其他情緒32人臉：識(shí)別表情、性別、年齡、種族曠視科技：7人臉驗(yàn)證33人臉驗(yàn)證8重點(diǎn)：物品拍攝任意一個(gè)物品，就能給出物品的名稱(chēng)：Camfind、百度輕拍拍攝紙媒內(nèi)容（例如廣告、海報(bào)），就能鏈接到這個(gè)商品的零售網(wǎng)頁(yè)，或者得到商家優(yōu)惠券：Target公司的InaSnap手機(jī)應(yīng)用、騰訊、基美文化傳媒的基美耀拍APP（與亮風(fēng)臺(tái)合作開(kāi)發(fā)）、億拍天下拍攝一件衣服，就能在零售商數(shù)據(jù)庫(kù)中找到這件衣服，或者相似的衣服：SnapFashion、Style-Eyes、Slyce、搜鞋客、圖圖搜衣、亮風(fēng)臺(tái)34重點(diǎn)：物品拍攝任意一個(gè)物品，就能給出物品的名稱(chēng)：Camfin重點(diǎn)：物品拍攝一個(gè)商品，就能在零售商數(shù)據(jù)庫(kù)中找出這件商品及同款商品的介紹、評(píng)論，并進(jìn)行比價(jià)，而且能進(jìn)行購(gòu)買(mǎi)：Viscovery、北京同創(chuàng)網(wǎng)訊、百度與唯品會(huì)的合作拍攝一個(gè)景點(diǎn)，就能給出這個(gè)景點(diǎn)的名稱(chēng)、介紹：亮風(fēng)臺(tái)拍攝一件展品，就能在數(shù)據(jù)庫(kù)中找出這件展品的介紹：Guidico35重點(diǎn)：物品拍攝一個(gè)商品，就能在零售商數(shù)據(jù)庫(kù)中找出這件商品及同3611物品拍攝葡萄酒酒標(biāo)，就能給出商品信息、并進(jìn)行比價(jià)、購(gòu)買(mǎi)：佛山市咔嚓購(gòu)的酒咔嚓APP。37物品拍攝葡萄酒酒標(biāo)，就能給出商品信息、并進(jìn)行比價(jià)、購(gòu)買(mǎi)：佛山物品拍攝一組食物，就能給出這些食物的營(yíng)養(yǎng)含量：芯草莓科技的微營(yíng)養(yǎng)App。38物品拍攝一組食物，就能給出這些食物的營(yíng)養(yǎng)含量：芯草莓科技的微物品拍一個(gè)應(yīng)用圖標(biāo)，能識(shí)別出這是什么APP：亮風(fēng)臺(tái)的應(yīng)用拍拍APP39物品拍一個(gè)應(yīng)用圖標(biāo)，能識(shí)別出這是什么APP：亮風(fēng)臺(tái)的應(yīng)用拍拍文字拍攝外語(yǔ)文字，就能給出翻譯：Viscovery、曠視科技拍攝一個(gè)數(shù)學(xué)題，就能給出答案和解析：學(xué)習(xí)寶40文字拍攝外語(yǔ)文字，就能給出翻譯：Viscovery、曠視科技有一些公司采用了深度學(xué)習(xí)百度Orbeus曠視科技DNNresearchIQEnginesLooknowClarifaiJetpac41有一些公司采用了深度學(xué)習(xí)百度16重點(diǎn)：基礎(chǔ)服務(wù)：基于深度學(xué)習(xí)的圖片搜索以圖搜圖：百度、谷歌百度能識(shí)別出圖片中的元素，例如河流、倒影、建筑、樹(shù)木、白云、藍(lán)天等。拍攝圖片，就能根據(jù)圖中包含的元素生成一首詩(shī)：百度為你寫(xiě)詩(shī)識(shí)別出畫(huà)作中的視覺(jué)概念，例如鴨子、走路、死尸，進(jìn)而根據(jù)描述性詞匯組成的向量，用自然語(yǔ)言處理比較不同畫(huà)作之間的相似度：達(dá)特茅斯學(xué)院和微軟劍橋研究院42重點(diǎn)：基礎(chǔ)服務(wù)：基于深度學(xué)習(xí)的圖片搜索以圖搜圖：百度、谷歌1重點(diǎn)：基礎(chǔ)服務(wù)：基于深度學(xué)習(xí)的圖片自動(dòng)分類(lèi)給照片自動(dòng)加標(biāo)簽、歸類(lèi)，進(jìn)而可以用關(guān)鍵詞搜索圖片：Orbeus、Madbits、百度云43重點(diǎn)：基礎(chǔ)服務(wù)：基于深度學(xué)習(xí)的圖片自動(dòng)分類(lèi)給照片自動(dòng)加標(biāo)簽、和互聯(lián)網(wǎng)廣告結(jié)合根據(jù)網(wǎng)頁(yè)上的圖片，判斷應(yīng)該給這個(gè)網(wǎng)頁(yè)的訪(fǎng)問(wèn)者展示什么廣告：Cortica以往的互聯(lián)網(wǎng)廣告都是基于用戶(hù)訪(fǎng)問(wèn)的網(wǎng)頁(yè)中的文本內(nèi)容了解用戶(hù)的興趣，而沒(méi)有考慮到圖片內(nèi)容。44和互聯(lián)網(wǎng)廣告結(jié)合根據(jù)網(wǎng)頁(yè)上的圖片，判斷應(yīng)該給這個(gè)網(wǎng)頁(yè)的訪(fǎng)問(wèn)者重點(diǎn)：圖像輸入的來(lái)源手機(jī)攝像頭谷歌眼鏡、百度眼鏡45重點(diǎn)：圖像輸入的來(lái)源手機(jī)攝像頭20重點(diǎn)：物品識(shí)別準(zhǔn)確率的挑戰(zhàn)物品形變會(huì)影響某些物品的識(shí)別。例如：同一件服裝隨著人的姿勢(shì)不同，會(huì)發(fā)生很多形狀上的變化。相比之下，建筑物的識(shí)別要容易很多。拍攝角度也會(huì)影響人臉、服裝等的識(shí)別燈光明暗、物體反光也會(huì)影響物體識(shí)別。拍攝焦距也會(huì)影響物體識(shí)別?；瘖y也會(huì)影響人臉識(shí)別干擾圖像的遮擋會(huì)影響對(duì)商品圖片的識(shí)別46重點(diǎn)：物品識(shí)別準(zhǔn)確率的挑戰(zhàn)物品形變會(huì)影響某些物品的識(shí)別。例如一種加強(qiáng)人臉識(shí)別率的策略把所有人臉圖形都調(diào)整到正面照角度，然后生成給每個(gè)人臉正面照生成一個(gè)3D模型。在這些3D模型之間進(jìn)行比較，就更加準(zhǔn)確。47一種加強(qiáng)人臉識(shí)別率的策略把所有人臉圖形都調(diào)整到正面照角度，然如何降低對(duì)于隱私的擔(dān)憂(yōu)盡量少把圖像存儲(chǔ)在云端先不把技術(shù)用于涉及隱私的行業(yè)48如何降低對(duì)于隱私的擔(dān)憂(yōu)盡量少把