國(guó)立師范大學(xué)資工所

1、國(guó)立師範(fàn)大學(xué)資工所、新視科技公司、國(guó)立歷史博物館適用於數(shù)位典藏多媒體內(nèi)容之自動(dòng)分類索引與複合式多媒體檢索技術(shù)研究計(jì)畫計(jì)畫簡(jiǎn)介前言國(guó)家型的數(shù)位典藏計(jì)畫初期以典藏品數(shù)位化工作、數(shù)位內(nèi)容之詮釋資料整理為主，中長(zhǎng)期將以教育性質(zhì)之利用推廣為主要工作。在大量數(shù)位化典藏品檔案中，如何有效管理、搜尋不同種類的多媒體檔案實(shí)為一重要課題。本項(xiàng)研究計(jì)畫在於整合及創(chuàng)新發(fā)展多項(xiàng)多媒體檢索與內(nèi)容管理之核心應(yīng)用技術(shù)，研究如何利用及整合關(guān)鍵詞抽取、語(yǔ)音辨識(shí)、圖像內(nèi)涵辨識(shí)、索引詞林等技術(shù)來建立檢索點(diǎn)與關(guān)聯(lián)式索引目錄索引之輔助工具，藉此以降低整理數(shù)位典藏文物所需之人力成本與時(shí)間耗費(fèi)。同時(shí)，本計(jì)畫亦發(fā)展建構(gòu)一個(gè)複合式(multi-

2、modal)、多元互動(dòng)的搜尋系統(tǒng)，讓社會(huì)大眾可以透過結(jié)合語(yǔ)音檢索、文字檢索、基於內(nèi)涵相似之圖像檢索等技術(shù)的整合環(huán)境，來瀏覽與檢索數(shù)位典藏文物，使典藏單位所產(chǎn)出之文物數(shù)位檔具有教育推廣的性質(zhì)。計(jì)畫內(nèi)容介紹這項(xiàng)計(jì)畫目前達(dá)成幾個(gè)重要的成果1. 多媒體語(yǔ)音辨識(shí)技術(shù) 經(jīng)由整合強(qiáng)健性的語(yǔ)音辨識(shí)與資訊檢索技術(shù)，以語(yǔ)音為基礎(chǔ)之多媒體資訊檢索技術(shù)目前已經(jīng)成功地建立在PDA使用環(huán)境中。目前PDA環(huán)境下的語(yǔ)音辨識(shí)系統(tǒng)的效能初步評(píng)估，平均的中文字正確率可達(dá)85%以上。2. CBIR以圖找圖技術(shù) CBIR(Content Based Image Retrieval)以圖找圖技術(shù)，主要是提供使用者在瀏覽端使用影像內(nèi)容(顏

3、色、材質(zhì)、紋理、形狀)等圖片特徵進(jìn)行檢索之先進(jìn)技術(shù)。3. 多媒體文件分類技術(shù) 本技術(shù)的目標(biāo)是以自動(dòng)化為多媒體數(shù)位文件分類為主。博物館產(chǎn)出之大量數(shù)位化文件，在分類上若單純以人力將遇到耗費(fèi)大量時(shí)間與人員的問題。目前技術(shù)已可達(dá)成為文件建立相關(guān)聯(lián)的文件群，以便利使用者能夠有結(jié)構(gòu)的閱讀相關(guān)主題的文件。4. PDA 平臺(tái)相關(guān)技術(shù)配合歷史博物館未來將建構(gòu)的<無線南海學(xué)園>，本計(jì)畫利用PDA為平臺(tái)，開發(fā)系統(tǒng)的瀏覽介面。目前提供以語(yǔ)音方式查詢，並以串流技術(shù)，在PDA平臺(tái)上透過無線網(wǎng)路傳輸撥放影音檔，影片長(zhǎng)度因而不須局限於PDA的容量限制。圖片顯示方面，提供以拖曳方式進(jìn)行圖片的放大縮小功能，和圖片所相關(guān)連器物權(quán)是資料的顯示功能，便於使用者對(duì)圖片有更進(jìn)一步的了解。5. 複合式使用者檢索介面技術(shù)複合式使用者檢索系統(tǒng)主要提供一個(gè)使用者能以多元化的輸入方式檢索的整合環(huán)境。使用者在瀏覽端(網(wǎng)頁(yè)、PDA等瀏覽模式)使用語(yǔ)言、文字或鉤選相似圖像的方式查詢，在檢索端則以不同的檢索方式(語(yǔ)音、文字或圖像)去檢索數(shù)位化內(nèi)容。未來展望本計(jì)畫目前已就適用於數(shù)位典藏之語(yǔ)音辨識(shí)技術(shù)、以內(nèi)涵為主的多媒體影音檢索技術(shù)和圖像查詢技術(shù)等作初步的整合，並以PDA的使用環(huán)境為研究平臺(tái)，開發(fā)多模式檢索與導(dǎo)覽之雛形系統(tǒng)?？勺屖褂谜咭宰匀徽Z(yǔ)言式的語(yǔ)音或文字查詢等不同方式來檢索歷史博物館的數(shù)位化館藏文物。未來除了增加原本的