基于Kinect體感交互技術(shù)的3D服飾文化展示系統(tǒng)

1、基于Kinect體感交互技術(shù)的3D服飾文化展示系統(tǒng)摘要：為弘揚(yáng)傳統(tǒng)服飾文化，本文交融體感交互技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了基于Kinect體感設(shè)備的3D服飾文化展示系統(tǒng)。不同于以往商業(yè)行為中的虛擬試衣鏡，系統(tǒng)更注重中華傳統(tǒng)服飾文化的普及，包括國(guó)粹箐華歷代服飾、少數(shù)民族服飾、奧運(yùn)主題服飾在內(nèi)的多個(gè)主題將給使用者帶來(lái)全新的用戶(hù)體驗(yàn)。關(guān)鍵詞：體感交互；Kinect；服飾文化；虛擬試衣鏡中圖分類(lèi)號(hào)：TS941.6 文獻(xiàn)標(biāo)志碼：BKinect-based 3D Costume Culture Display SystemAbstract： To carry forward traditional co

2、stume culture， a Kinect-based 3D costume culture display system was designed based on somatosensory interactive technology and Augmented Reality AR technology. Different from virtual mirror for commercial use， the system pays more attention to the popularization of Chinese traditional costume cultur

3、e. The costumes， which are displayed under several themes such as Ancient Costumes， Ethnic Costumes and Costumes for the Olympic Games， would give viewers a completely new experience.Key words： somatosensory interaction； Kinect； costume culture； virtual mirror近年來(lái)，弘揚(yáng)中華傳統(tǒng)服飾文化受到社會(huì)各界的廣泛重視。服裝所展示的不僅是品牌、款式

4、和色彩，同時(shí)也是一個(gè)國(guó)家的文化符號(hào)。然而，令人遺憾的是，不知從何時(shí)起，國(guó)人曾經(jīng)引以為豪的中式服裝已經(jīng)漸漸淡出了人們的視線，在工作和生活中我們所能接觸到的是清一色的西式服裝。對(duì)于華夏衣裳五千年的開(kāi)展歷史，人們更是知之甚少。雖然介紹傳統(tǒng)服飾文化的書(shū)籍不少，例如：吳欣著?中國(guó)消失的服飾?、樓慧珍著?中國(guó)傳統(tǒng)服飾文化?等，但這類(lèi)學(xué)術(shù)著作專(zhuān)業(yè)性較強(qiáng)，更適宜業(yè)內(nèi)研究者及高等院校教學(xué)使用，并不適宜向廣闊公眾做科普宣傳。與此同時(shí)，博物館中珍貴的服飾藏品受到展品保護(hù)的限制，也只能是讓參觀者透過(guò)櫥窗對(duì)展品做簡(jiǎn)單理解，學(xué)習(xí)過(guò)程缺少娛樂(lè)性和互動(dòng)性，因此對(duì)服飾文化的傳播效果不夠理想。為了更好地普及傳統(tǒng)服飾文化，本課題借

5、助增強(qiáng)現(xiàn)實(shí)技術(shù)，體感交互技術(shù)，將中華歷代服飾、民族服飾、奧運(yùn)服飾生動(dòng)形象地展示在公眾面前。人們可以一邊體驗(yàn)虛擬試穿的樂(lè)趣，一邊學(xué)習(xí)與之相對(duì)應(yīng)的服飾文化知識(shí)，真正做到科學(xué)普及傳統(tǒng)服飾文化。本系統(tǒng)由北京服裝學(xué)院、北京科普開(kāi)展中心、廣州新節(jié)奏智能科技三方結(jié)合完成。1 研究思路和方法1.1 體感交互技術(shù)體感交互起源于游戲行業(yè)，特指用戶(hù)通過(guò)身體運(yùn)動(dòng)和身體感受等方式完成人機(jī)交互。早期的體感交互必須借助昂貴的數(shù)據(jù)手套、3D頭盔等硬件才能實(shí)現(xiàn)。直到最近，隨著實(shí)時(shí)深度攝像機(jī)技術(shù)與體感交互算法的日漸成熟，特別是Microsoft Kinect與ASUS Xtion PRO的相繼發(fā)布，體感交互技術(shù)已顯露出它在電子娛

6、樂(lè)、互動(dòng)教育、醫(yī)療輔助、機(jī)械視覺(jué)等實(shí)際應(yīng)用中的宏大潛力。本系統(tǒng)所選用的體感設(shè)備是微軟開(kāi)發(fā)的Kinect，它有 3個(gè)不對(duì)稱(chēng)的鏡頭，中間的鏡頭是RGB彩色攝像頭，用于實(shí)時(shí)捕獲彩色圖像；左右兩邊鏡頭那么分別為紅外投影機(jī)和紅外攝像頭，它們通過(guò)發(fā)射與接收紅外線來(lái)提供深度信息。系統(tǒng)借助Kinect體感交互設(shè)備不僅可以輕松獲得場(chǎng)景中的所有視頻信息，還可以通過(guò)檢測(cè)用戶(hù)的動(dòng)作判斷其操作意圖，例如，用戶(hù)揮動(dòng)手臂代表需要更換觀看的內(nèi)容，手在某個(gè)位置2 s以上的停留那么代表選定某件服裝，準(zhǔn)備試穿等等。換句話(huà)說(shuō)，Kinect實(shí)現(xiàn)了“你就是遙控器的全新用戶(hù)體驗(yàn)，消除了以往使用者與操作對(duì)象之間的隔膜，進(jìn)步了整個(gè)展示系統(tǒng)的沉

7、浸感與體驗(yàn)度。增強(qiáng)現(xiàn)實(shí)技術(shù)Augmented Reality，簡(jiǎn)稱(chēng)AR，是虛擬現(xiàn)實(shí)技術(shù)的延伸。它將計(jì)算機(jī)生成的虛擬物體、場(chǎng)景或系統(tǒng)提示信息實(shí)時(shí)交融到真實(shí)世界中，從而增強(qiáng)用戶(hù)對(duì)現(xiàn)實(shí)世界感知的程度。近期，由于AR技術(shù)在會(huì)展、設(shè)計(jì)、出版、娛樂(lè)等領(lǐng)域所發(fā)揮出的重要作用，它已被?時(shí)代周刊?列為當(dāng)前最具活力和前景的十大技術(shù)之一。系統(tǒng)中對(duì)于增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用如圖 1 所示，其中圖1a為博物館中實(shí)際展出的珍貴服飾；圖1b為系統(tǒng)硬件設(shè)備，位于屏幕上方的Kinect彩色攝像頭可以獲得現(xiàn)實(shí)世界中的真實(shí)影像；圖1c為用戶(hù)通過(guò)顯示設(shè)備觀察到的虛擬試穿效果。此時(shí)，不管用戶(hù)如何動(dòng)作，服裝都像真正穿在人身上一樣，不會(huì)出現(xiàn)偏移

8、或者穿透的現(xiàn)象，即使試穿者轉(zhuǎn)身或者跳躍，虛擬服裝也會(huì)表現(xiàn)出很好的隨動(dòng)特征，從而帶給用戶(hù)較好的交互體驗(yàn)感。1.3 系統(tǒng)工作流程系統(tǒng)實(shí)現(xiàn)過(guò)程分準(zhǔn)備階段、制作階段、實(shí)現(xiàn)及測(cè)試階段 3 部分進(jìn)展，詳細(xì)工作流程如圖 2 所示。在前期的準(zhǔn)備工作中最關(guān)鍵的是確定好系統(tǒng)展示方案，既要確定展示內(nèi)容、明確作品風(fēng)格、設(shè)計(jì)詳細(xì)欄目，也要對(duì)每個(gè)子欄目的詳細(xì)內(nèi)容予以規(guī)劃。在資料搜集整理階段那么要借助網(wǎng)絡(luò)及專(zhuān)業(yè)的資料庫(kù)全方位獲得與展示主題相關(guān)的各類(lèi)資料。在詳細(xì)制作階段，可分為二維和三維兩個(gè)小組同時(shí)開(kāi)展，二維部分主要應(yīng)用平面設(shè)計(jì)軟件完成用戶(hù)界面設(shè)計(jì)，服裝模型的貼圖制作等；三維部分那么使用專(zhuān)業(yè)三維建模軟件建立服裝模型，并進(jìn)展骨

9、骼綁定、燈光設(shè)計(jì)、材質(zhì)編輯等一系列工作。最終所有信息匯總到“體感3D服飾文化展示系統(tǒng)，完成系統(tǒng)測(cè)試工作。2 服飾文化展示系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)2.1 系統(tǒng)功能設(shè)計(jì)不同于以往商業(yè)行為中的“3D虛擬試衣鏡，系統(tǒng)不僅包含虛擬試衣功能，還利用文字、圖片、視頻等多媒體形式全面介紹了不同服飾背后所蘊(yùn)含的文化背景，是集教育性、娛樂(lè)性、互動(dòng)性于一體的服飾文化展示平臺(tái)。展示系統(tǒng)在國(guó)內(nèi)實(shí)屬首例，詳細(xì)功能見(jiàn)表 1。系統(tǒng)設(shè)計(jì)了歷代服飾、民族服飾、奧運(yùn)服飾 3 個(gè)欄目，每個(gè)欄目又包含 8 個(gè)子欄目，子欄目的選擇需要考慮時(shí)間順序及服飾文化的豐富程度。目前，系統(tǒng)已經(jīng)整合了大量的文字、圖片資源，但視頻及虛擬試穿部分還有待進(jìn)一步加強(qiáng)

10、。由于服裝自身的特性，留傳于世的多為百年之內(nèi)的作品，年代長(zhǎng)遠(yuǎn)的難免品相不佳，需要利用計(jì)算機(jī)圖形學(xué)做大量的后期處理工作，這也充分表達(dá)了課題在藝術(shù)與技術(shù)上的交融。2.2 用戶(hù)界面設(shè)計(jì)為突出傳統(tǒng)服飾文化這一主題，展示系統(tǒng)在用戶(hù)界面設(shè)計(jì)上保持了中國(guó)風(fēng)的特色，在主界面及二級(jí)界面中均采用了對(duì)稱(chēng)的布局方式圖 3。主界面中的四個(gè)欄目由上而下依次排列，明晰明了，不同欄目之間通過(guò)硬朗的線條及模糊的云朵予以連通，表達(dá)看似不同的主題之間又有著千絲萬(wàn)縷的聯(lián)絡(luò)。二級(jí)界面均采用了插畫(huà)的表現(xiàn)方式，用簡(jiǎn)單的線條勾勒出不同服飾的造型特征，清新淡雅的顏色剛好與各自的主題相一致。2.3 服裝模型建立三維服裝模型的建立是系統(tǒng)實(shí)現(xiàn)的關(guān)鍵

11、，通常一個(gè)服裝模型的制作需要經(jīng)歷如下步驟：1確定展品有實(shí)物最正確 ，否那么需要較為詳盡的圖片資料作為輔助；2搜集資料對(duì)實(shí)物進(jìn)展多角度拍攝，整理相應(yīng)文字、圖像等資料作為背景知識(shí)介紹；3三維服裝模型制作使用3ds Max及CLO專(zhuān)業(yè)服裝建模軟件完成，保存為fbx格式；4制作貼圖利用步驟2拍攝的照片，借助Photoshop軟件完成，保存為jpg格式；5模型格式轉(zhuǎn)換使用Unity3D游戲引擎，將步驟3、4中的文件合成為u3d格式。6上傳模型至3D體感形象搭配系統(tǒng)后臺(tái)數(shù)據(jù)庫(kù)。展示系統(tǒng)開(kāi)機(jī)后會(huì)檢測(cè)到數(shù)據(jù)的更新，通過(guò)無(wú)線網(wǎng)絡(luò)可以下載數(shù)據(jù)庫(kù)中的服裝模型。系統(tǒng)在建立三維服裝模型過(guò)程中需要特別注意的是，由于系統(tǒng)對(duì)

12、于虛擬服裝的渲染為實(shí)時(shí)操作，計(jì)算量極大，因此必須控制每個(gè)服飾作品的服裝面數(shù)小于3 000，否那么將會(huì)影響到用戶(hù)體驗(yàn)時(shí)的感受。為了盡量減少服裝模型中的面數(shù)，系統(tǒng)采用以貼圖效果代替復(fù)雜幾何造型的原那么，同時(shí)，多層的服裝也僅僅通過(guò)貼圖中的陰影效果來(lái)實(shí)現(xiàn)，從而確保所有服裝在用戶(hù)試穿時(shí)均有流暢的表現(xiàn)。2.4 系統(tǒng)實(shí)現(xiàn)效果2021年9月，在全國(guó)科普日北京主場(chǎng)活動(dòng)中，基于Kinect體感交互技術(shù)的3D服飾文化展示系統(tǒng)在中國(guó)科技館與廣闊民眾見(jiàn)面，上千名參觀者親身體驗(yàn)了系統(tǒng)中的48套服飾作品，?科技日?qǐng)?bào)?、光明網(wǎng)等媒體對(duì)系統(tǒng)進(jìn)展了報(bào)道。圖 4 為系統(tǒng)在現(xiàn)場(chǎng)展出時(shí)的效果。3 結(jié)語(yǔ)服飾作為一種文化形態(tài)，貫穿于中國(guó)古代各個(gè)歷史時(shí)期，也成為中華傳統(tǒng)文化的重要組成部分?？萍紟Ыo服飾全新的展現(xiàn)形式，更賦予傳統(tǒng)文化更加蓬勃的生命力，本課題旨在使用科技最前沿的增強(qiáng)現(xiàn)實(shí)技術(shù)、體感交互技術(shù)，全方位地向廣闊公眾展示燦爛的華夏服飾