QCCNN量子類神經(jīng)網(wǎng)路架構(gòu)

1、.：.；QCCNN量子類神經(jīng)網(wǎng)路架構(gòu)蔡賢亮義守大學(xué)資訊管理系 HYPERLINK mailto:.tw .tw劉榕軒義守大學(xué)資訊管理系 HYPERLINK mailto:M9322020.tw M9322020.tw摘要到目前為止，已有各式各樣的量子類神經(jīng)網(wǎng)路模型被提出了。但從研討中，我們發(fā)現(xiàn)到多數(shù)的模型只是個構(gòu)想，並沒有提出明確而完好的量子學(xué)習(xí)法則；只需少數(shù)模型有提出量子學(xué)習(xí)法則，但是我們也發(fā)現(xiàn)到這些學(xué)習(xí)法則是不可行的，因為它們都不能真正的符合量子理論。而從目前已被提出的量子類神經(jīng)網(wǎng)路的學(xué)習(xí)法則中

2、，我們發(fā)現(xiàn)到Dan Ventura 和 Tony Martinez 提出的以量子搜尋演算法quantum search algorithm為基礎(chǔ)的學(xué)習(xí)法則是最可行的在論文中，我們將稱此學(xué)習(xí)法則為量子搜尋學(xué)習(xí)法則；但這個量子學(xué)習(xí)法則卻仍存在假設(shè)干個缺陷，使得這個學(xué)習(xí)演算法仍有改進(jìn)之處。為了解決量子搜尋學(xué)習(xí)法則的缺陷，我們提出一個新的量子類神經(jīng)網(wǎng)路架構(gòu)，它結(jié)合傳統(tǒng)的cascade correlation 類神經(jīng)網(wǎng)路CCNN的自動建構(gòu)概念及量子搜尋學(xué)習(xí)法則，我們稱這個新量子類神經(jīng)網(wǎng)路架構(gòu)為量子cascade correlation 類神經(jīng)網(wǎng)路QCCNN: quantum cascade correl

3、ation neural network。這個新的架構(gòu)不但解決了如何決定量子類神經(jīng)網(wǎng)路大小的問題，也可以減少量子搜尋學(xué)習(xí)法則在訓(xùn)練過程花費的時間及空間。從初步的實驗數(shù)據(jù)顯示，我們提出的QCCNN及其新學(xué)習(xí)法則確實更有效率、更可行。關(guān)鍵字：cascade correlation 類神經(jīng)網(wǎng)路、量子類神經(jīng)網(wǎng)路、量子搜尋演算法、錯誤嘗試法。壹、引言傳統(tǒng)領(lǐng)域的類神經(jīng)網(wǎng)路NN, neural networks發(fā)展也已有一甲子的歲月了，由於它具有假設(shè)干著越才干，使得類神經(jīng)網(wǎng)路成為發(fā)展最快速的研討領(lǐng)域之一，而且它也已經(jīng)被大量地應(yīng)用在相當(dāng)多的領(lǐng)域上；但就目前的電腦處理架構(gòu)而言，實際上，我們並未把類神經(jīng)網(wǎng)路的平行

4、處理特性發(fā)揮出來，我們充其量只是在模擬而已，所以目前類神經(jīng)網(wǎng)路的實際應(yīng)用結(jié)果乃大大地受限於目前電腦技術(shù)。而超大型積體電路的發(fā)展也接近瓶頸，新的電腦架構(gòu)基因電腦、分子電腦及量子電腦等研發(fā)將是勢在必行，而量子電腦quantum computers便是一個方向。假設(shè)量子電腦在未來果真的成為事實，那目前科學(xué)界上有假設(shè)干難解或不能夠解的問題都將能夠不再是難題了例如，密碼問題！另外，量子電腦的量子平行處理才干對於類神經(jīng)網(wǎng)路也將帶來革命性的突破，因為類神經(jīng)網(wǎng)路的平行處理特性得以藉由量子平行計算技術(shù)而完全發(fā)揮。而以量子理論為基礎(chǔ)的類神經(jīng)網(wǎng)路則稱為量子類神經(jīng)網(wǎng)路QNN, quantum neural netwo

5、rks。到目前為止，已有假設(shè)干量子類神經(jīng)網(wǎng)路模型被提出了，但多數(shù)模型都沒有提出很明確的方法來訓(xùn)練它們的量子類神經(jīng)網(wǎng)路，甚至有些模型根本沒有提及要如何去訓(xùn)練量子類神經(jīng)網(wǎng)路。例如，Altaisky在2001年提出的模型中，他曾提到運用類似傳統(tǒng)類神經(jīng)網(wǎng)路的gradient descent學(xué)習(xí)法則來訓(xùn)練量子類神經(jīng)網(wǎng)路，然而，這個訓(xùn)練法則能否符合量子理論呢？我們曉得其答案能否認(rèn)的。目前已提出的量子類神經(jīng)網(wǎng)路類似於傳統(tǒng)類神經(jīng)網(wǎng)路的論述有，其它的模型則與傳統(tǒng)類神經(jīng)網(wǎng)路差異極大，例如，quantumdot 類神經(jīng)網(wǎng)路。而這些被提出的量子類神經(jīng)網(wǎng)路模型多數(shù)是不實用或跟本無法應(yīng)用量子技術(shù)實做。但對於類神經(jīng)網(wǎng)路而言

6、，學(xué)習(xí)法則是它們的主要精華之一，沒有可行的學(xué)習(xí)法則，它們便失去學(xué)習(xí)的才干，所以，量子類神經(jīng)網(wǎng)路要能實現(xiàn)的話，那量子學(xué)習(xí)法則也是迫切需求的。而Dan Ventura 和 Tony Martinez在2000年首先提出將量子搜尋演算法quantum search algorithm應(yīng)用在量子關(guān)連記憶學(xué)習(xí)上，利用量子搜尋演算法來訓(xùn)練量子類神經(jīng)網(wǎng)路。我們發(fā)現(xiàn)這是一個確實可行且符合量子理論的量子學(xué)習(xí)法則。貳、量子搜尋學(xué)習(xí)法則傳統(tǒng)類神經(jīng)網(wǎng)路都是藉由調(diào)整權(quán)重值來達(dá)到學(xué)習(xí)的目的，但是這種方式似乎是不適用於量子類神經(jīng)網(wǎng)路；而要訓(xùn)練量子類神經(jīng)網(wǎng)路的另一個可行的方法是從一切能夠的權(quán)重向量集合中，找出一組權(quán)重向量能使

7、一切的訓(xùn)練樣天性被正確地分類。在2000年，Dan Ventura 和 Tony Martinez 首先提出將量子搜尋演算法quantum search algorithm應(yīng)用在量子關(guān)連記憶學(xué)習(xí)上，利用量子搜尋演算法在量子關(guān)連記憶學(xué)習(xí)上。又在2003年，Ricks和Ventura再次提出利用量子搜尋演算法來訓(xùn)練量子類神經(jīng)網(wǎng)路，並且實驗証明其方法的可行性。這也是我們目前發(fā)現(xiàn)最可行的量子學(xué)習(xí)法則。他們利用量子搜尋演算法從一切能夠的權(quán)重集合中找出一組權(quán)重，這組權(quán)重需可以勝利且正確地分類一切的訓(xùn)練樣本，而它便是訓(xùn)練完成後所得到的最後權(quán)重。這個作法的基礎(chǔ)想法是利用量子理論的狀態(tài)線性疊加linear su

8、perposition的特性，將一切能夠的權(quán)重向量疊加在一同，然後運用量子搜尋演算法從中尋求得一組權(quán)重向量，使得一切的訓(xùn)練樣本勝利地被分類。到目前為止，量子搜尋演算法是少數(shù)已被認(rèn)定為符合量子計算領(lǐng)域的演算法之一，而以它為基礎(chǔ)的量子搜尋學(xué)習(xí)法則也完全符合量子理論，所以，我們認(rèn)為這個方法是可行的。他們也勝利地將量子搜尋學(xué)習(xí)法則應(yīng)用在假設(shè)干的實際問題上，例如，他們已經(jīng)勝利地利用量子搜尋學(xué)習(xí)法則解決了 XOR 問題、iris 分類問題、lenses 分類問題及 hayes-roth 問題上。而且從實驗的數(shù)據(jù)上來看，這個學(xué)習(xí)法則是確實可行的，而且效能也是相當(dāng)不錯。由這些實驗的數(shù)據(jù)更證明了量子搜尋學(xué)習(xí)法則

9、的可行性。一、量子搜尋演算法Grover在1996年提出量子搜尋演算法，它是少數(shù)已被認(rèn)定為符合量子計算領(lǐng)域的演算法之一。在N個未排序過的資料中搜尋出給定的資料，假設(shè)以傳統(tǒng)搜尋演算法需求 次比較，而量子搜尋演算法 次比較。Grover的量子搜尋演算法利用一個稱為quantum oracle call黑盒子，和一個稱為inversion about average量子運算子，來逐漸增大給定資料的狀態(tài)被測量到的機(jī)率。在經(jīng)過 次運算後，具有最高機(jī)率的資料便是我們的搜尋目標(biāo)。二、量子搜尋學(xué)習(xí)法則的缺點雖然實驗的數(shù)據(jù)更證明了量子搜尋學(xué)習(xí)法則的可行性，但是我們?nèi)园l(fā)現(xiàn)到量子搜尋學(xué)習(xí)法則有以下的缺陷：第一，假設(shè)

10、要符合全部訓(xùn)練樣本要被勝利分類的 oracle call，我們或許可以找到一組合適的權(quán)重向量，但這組權(quán)重向量很能夠並不是我們需求的，因為它能夠有過渡訓(xùn)練overfitting了。假設(shè)訓(xùn)練樣本集合中含有假設(shè)干的錯誤樣本，或訓(xùn)練樣本含有雜訊時，過渡訓(xùn)練的發(fā)生那就勢必會發(fā)生，因為我們很能夠需求一個較大的量子類神經(jīng)網(wǎng)路才有機(jī)會將這些有問題的訓(xùn)練樣本百分之百地分類勝利，而訓(xùn)練完的量子類神經(jīng)網(wǎng)路不僅記憶正確的樣本，同時也將錯誤的樣本留在記憶中，這對分類未知樣本會呵斥極嚴(yán)重的錯誤，所以讓全數(shù)的訓(xùn)練樣本百分之百分類勝利的oracle call是很不恰當(dāng)?shù)?。作者Ricks和Ventura為了解決這個缺陷，他們將

11、量子搜尋演算法中的oracle call做了些許的修正，將oracle call改為不再需求全數(shù)訓(xùn)練樣本被正確分類，而將oracle call設(shè)定成訓(xùn)練樣本正確分類率低於100%例如，95%。這個修正確實能解決這個問題，但是我們很難決定oracle call應(yīng)該設(shè)多少才適當(dāng)。假設(shè)oracle call設(shè)太高的話，很能夠沒有任何一組權(quán)重能通過它，這將呵斥每一組權(quán)重都擁有一樣的機(jī)率，也就是沒有一組權(quán)重會超過0.5，所以，搜尋失敗！另外，這也能夠呵斥overfitting的問題。第二，當(dāng)量子搜尋學(xué)習(xí)法則在尋找一組權(quán)重向量時，我們所需花費的空間複雜度space complexity是指數(shù)成長的例如，假

12、設(shè)要搜尋n-bits的資料空間，則所需的空間複雜度為，這對於較複雜的問題或架構(gòu)較大的量子類神經(jīng)網(wǎng)路將會是不可行的。作者也提出了片斷權(quán)重學(xué)習(xí)法則piecewise weight learning rule來改善此缺陷，它是以隨機(jī)選取某個神經(jīng)元來訓(xùn)練其權(quán)重其它神經(jīng)元的權(quán)重則凝結(jié)不動，所以每個神經(jīng)元的權(quán)重分開獨立訓(xùn)練，而不在將整個量子類神經(jīng)網(wǎng)路的一切權(quán)重同時訓(xùn)練。雖然這種方式可以降低空間複雜度的問題，但它卻大大地拉長訓(xùn)練的時間，因為它必需持續(xù)地隨機(jī)訓(xùn)練單一個神經(jīng)元的權(quán)重，直到整個量子類神經(jīng)網(wǎng)路達(dá)到我們的要求為止。第三，不論是傳統(tǒng)或是量子類神經(jīng)網(wǎng)路，當(dāng)我們要運用它們來解問題時，我們首先會遇到一個困難，

13、那就是終究要用多大的類神經(jīng)網(wǎng)路才合適呢？這個問題其實對於類神經(jīng)網(wǎng)路的表現(xiàn)是影響艱苦的，因為太大的架構(gòu)通常會出現(xiàn)overfitting的現(xiàn)象。另外，對於量子搜尋學(xué)習(xí)法則來說，大的架構(gòu)也是需求較多的訓(xùn)練時間及相當(dāng)龐大的空間複雜度如第二點所述，所以，太大的類神經(jīng)網(wǎng)路架構(gòu)是不妥當(dāng)?shù)?；然而，太小的架?gòu)則會有訓(xùn)練缺乏或無法訓(xùn)練的現(xiàn)象產(chǎn)生，它的訓(xùn)練過程能夠都無法收斂，所以訓(xùn)練程序是無法結(jié)束，只能靠人為中止它，另外，這樣的類神經(jīng)網(wǎng)路的分類品質(zhì)必定也不高，所以，小架構(gòu)的類神經(jīng)網(wǎng)路也是不妥當(dāng)?shù)?。在他們的實驗中，他們顯示出他們的量子搜尋學(xué)習(xí)法則的效能，但他們卻沒有告訴我們，實驗中所採用的類神經(jīng)網(wǎng)路大小是如何制定的。

14、其實，我們可以很容易地猜測到，他們應(yīng)該是採用傳統(tǒng)類神經(jīng)網(wǎng)路中的錯誤嘗試法trial-and-error來找出一個合適的量子類神經(jīng)網(wǎng)路，這種作法是不可行的，因為這種做法使得他們將花更多的訓(xùn)練時間及空間。雖然量子搜尋學(xué)習(xí)法則仍有上述的缺點存在，不過這個方法還是目前被提出的量子類神經(jīng)學(xué)習(xí)法則中是較可行的，其實有些缺點也同樣存在於傳統(tǒng)的類神經(jīng)網(wǎng)路，而且已經(jīng)勝利地被解決了，例如，類神經(jīng)網(wǎng)路架構(gòu)問題就有假設(shè)干的演算法被提出，而我們也針對這個問題做了不少的研討，提出一系列的方法來讓類神經(jīng)網(wǎng)路自動建構(gòu)合適的類神經(jīng)網(wǎng)路架構(gòu)，並且獲得相當(dāng)不錯的成果。所以，我們或許也可以將傳統(tǒng)的解決方法應(yīng)用到量子類神經(jīng)網(wǎng)路中，並解

15、決上述的缺點。從這些已被提出的傳統(tǒng)類神經(jīng)網(wǎng)路演算法中，我們發(fā)現(xiàn)傳統(tǒng)的cascade correlation 類神經(jīng)網(wǎng)路CCNN有很多不錯的特性，它勝利的解決了不少傳統(tǒng)類神經(jīng)網(wǎng)路的問題，而某些一樣的問題也同樣困擾著量子類神經(jīng)網(wǎng)路，而且從它的假設(shè)干特性中，我們發(fā)現(xiàn)這些特性可以應(yīng)用到量子類神經(jīng)網(wǎng)路上。參、Cascade Correlation類神經(jīng)網(wǎng)路CCNN以下我們對cascade correlation 類神經(jīng)網(wǎng)路做些簡略的介紹，並說明他的那些特性可以解決那些量子搜尋學(xué)習(xí)法則存在的缺陷。傳統(tǒng)類神經(jīng)網(wǎng)路 cascade correlation 類神經(jīng)網(wǎng)路是自動建構(gòu)類神經(jīng)網(wǎng)路架構(gòu)的演算法之一，也具有

16、令人稱讚的效能，它的效能也遠(yuǎn)遠(yuǎn)優(yōu)於傳統(tǒng)的倒傳遞類神經(jīng)網(wǎng)路back-propagation neural networks，是一個相當(dāng)有效率的類神經(jīng)網(wǎng)路架構(gòu)。它不像倒傳遞類神經(jīng)網(wǎng)路是同時訓(xùn)練整個類神經(jīng)網(wǎng)路的權(quán)重值，它是可以依需求自動地動態(tài)建構(gòu)出多階層multilayer的類神經(jīng)網(wǎng)路，所以它比倒傳遞類神經(jīng)網(wǎng)路具有快速的學(xué)習(xí)速率，它可以本人決定本人的網(wǎng)路大小及架構(gòu)，而且當(dāng)訓(xùn)練樣本集合改變時，它不需重新再建構(gòu)一個全新的網(wǎng)路架構(gòu)，它可以以先前的網(wǎng)路架構(gòu)為基礎(chǔ)，再繼續(xù)增建已訓(xùn)練過的類神經(jīng)網(wǎng)路架構(gòu)。CCNN 類神經(jīng)網(wǎng)路在尚未訓(xùn)練時，它只包含輸入層及輸出層，而經(jīng)由訓(xùn)練的過程，它會依需求自動地參與新的隱藏神經(jīng)元

17、，直到訓(xùn)練樣本的勝利分類率達(dá)到我們的要求為止。新的隱藏神經(jīng)元參與的方法是一個一個依序參與的，而且它每次只需訓(xùn)練要參與的隱藏神經(jīng)元hidden neurons，而其它已存在之神經(jīng)元及其所屬之權(quán)重則被凍結(jié)不變，所以 CCNN 類神經(jīng)網(wǎng)路是可以解決量子搜尋學(xué)習(xí)法則的第二及第三個缺點。由於CCNN是一次只訓(xùn)練一個隱藏神經(jīng)元的權(quán)重，所以，每訓(xùn)練一個隱藏神經(jīng)元的一切能夠權(quán)重集合會遠(yuǎn)少於整個量子類神經(jīng)網(wǎng)路的一切權(quán)重集合，所以，我們可以大大減少所需的訓(xùn)練空間複雜度。而我們只需再對 CCNN 類神經(jīng)網(wǎng)路的自動建構(gòu)演算法做些修正的話，我們也可以將量子搜尋學(xué)習(xí)法則的第一個缺點也減到最低的程度。CCNN 類神經(jīng)網(wǎng)路的

18、學(xué)習(xí)法則是兩階段式的，第一個階段，是調(diào)整輸出層與一切隱藏層及輸入層之間的權(quán)重向量，藉由訓(xùn)練的過程，可以漸漸地降低錯誤函式的值，而當(dāng)錯誤值變化量小於某一預(yù)設(shè)門檻時，也就是訓(xùn)練趨近於穩(wěn)定時，此一個階段學(xué)習(xí)程序便中止，並判斷訓(xùn)練樣本被正確辨識的準(zhǔn)確率能否達(dá)到我們的要求，假設(shè)是，則結(jié)束整個學(xué)習(xí)程序，整個類神經(jīng)網(wǎng)路便建構(gòu)完成了；否則，便參與一個新的隱藏神經(jīng)元，並進(jìn)入第二學(xué)習(xí)階段。這一階段的學(xué)習(xí)程序是要調(diào)整此新參與隱藏神經(jīng)元與輸入層及一切已存在之隱藏神經(jīng)元之間的權(quán)重向量，經(jīng)由訓(xùn)練的過程，可以漸漸地提升此新神經(jīng)元輸出值與輸出層的錯誤值的相關(guān)值correlation。此相闗值愈大則代表此新參與的隱藏神經(jīng)元可以

19、更降低錯誤值。同樣地，當(dāng)相關(guān)值添加緩慢時，第二階段學(xué)習(xí)程序便中止，並且把此隱藏神經(jīng)元的權(quán)重凍結(jié)。然後便重回第一階段重複執(zhí)行。這兩個學(xué)習(xí)階段會被重複地執(zhí)行，直到訓(xùn)練樣本的勝利辨識率達(dá)到要求為止。肆、QCCNN量子類神經(jīng)網(wǎng)路架構(gòu)那要如何讓CCNN的自動建構(gòu)特性交融Bob Ricks 和 Dan Ventura 提出的量子搜尋學(xué)習(xí)法則呢？我們利用二者的特性來建立量子類神經(jīng)網(wǎng)路自動建構(gòu)演算法，它具有CCNN的自動建構(gòu)特性，也擁有Bob Ricks 和 Dan Ventura 提出的量子搜尋學(xué)習(xí)法則。用這種方式建構(gòu)出來的量子類神經(jīng)網(wǎng)路，我們稱它為quantum cascade correlation類神

20、經(jīng)網(wǎng)路，簡稱為QCCNN。QCCNN演算法如表一所示。QCCNN類神經(jīng)網(wǎng)路建構(gòu)過程如圖一所示。QCCNN 類神經(jīng)網(wǎng)路在尚未訓(xùn)練之初，它也同樣是只需輸入神經(jīng)層和輸出神經(jīng)層。在第一個階段中，我們是調(diào)整輸出層與一切隱藏層及輸入層之間的權(quán)重向量，藉由量子搜尋學(xué)習(xí)演算法的訓(xùn)練過程，我們可以快速地找到一組權(quán)重向量，並使錯誤值為最小，所以第一階段便結(jié)束；接下來，我們要判斷訓(xùn)練樣本被正確辨識的準(zhǔn)確率能否達(dá)到要求，假設(shè)是，則結(jié)束整個學(xué)習(xí)程序，量子類神經(jīng)網(wǎng)路便建構(gòu)完成了；否則，便參與一個新的隱藏量子神經(jīng)元，並進(jìn)入第二學(xué)習(xí)階段。這一階段的學(xué)習(xí)程序是要調(diào)整此新參與隱藏量子神經(jīng)元與輸入層及一切已存在之隱藏量子神經(jīng)元之間

21、的權(quán)重向量。同樣地，我們是採用量子搜尋的技巧來調(diào)整權(quán)重向量，並可以很快地找到一組權(quán)重值，使此新神經(jīng)元輸出值與輸出層的錯誤值的相關(guān)值為最大，第二階段學(xué)習(xí)程序便中止，並且把此新參與的隱藏量子神經(jīng)元的權(quán)重凍結(jié)。然後便重回第一階段重複執(zhí)行。這兩個學(xué)習(xí)階段會被重複地執(zhí)行，直到訓(xùn)練樣本的勝利辨識率達(dá)到要求為止。每執(zhí)行第二階段學(xué)習(xí)程序一次便代表新增一個隱藏量子神經(jīng)元，換句話說，第二階段學(xué)習(xí)程式重複執(zhí)行的次數(shù)便代表隱藏量子神經(jīng)元的個數(shù)。我們的QCCNN架構(gòu)中，由於學(xué)習(xí)法則是兩階段的，所以我們也需求有二個不同性質(zhì)的oracle，這兩個oracle各負(fù)責(zé)不同的任務(wù)，所要逹到的目標(biāo)也不一樣。在第一階段中，我們是希望

22、經(jīng)由量子搜尋技巧找到介於輸出層和其它層間的權(quán)重向量，而這組權(quán)重向量能使得訓(xùn)練樣本的正確辨識率最高，換句話說，就是使得輸出層的錯誤值最低；而在第二階段中，我們會新增一個隱藏量子神經(jīng)元至量子類神經(jīng)網(wǎng)路中，並希望同樣經(jīng)由量子搜尋技術(shù)找到新隱藏量子神經(jīng)元的權(quán)重向量，這組權(quán)重向量可以使得新神經(jīng)元的輸出值和輸出層的錯誤值產(chǎn)生最大的相關(guān)；假設(shè)二者間的關(guān)連愈大，那代表這個新參與的神經(jīng)元可以使得輸出層的錯誤可以降得更低。表一 QCCNN演算法Algorithm QCCNNLearning phase: S1: Begin with the minimal network with no hidden neuro

23、nsFirst phase: Training output neurons S2: Training Weights, , of output neurons by quantum search leaning rule with oracle call (1) where , , and are the error, the desired output value, and actual output value of output neuron o for training pattern p, respectively. S3: If then stop, where is the

24、percentage of successful classification for training patterns and is a stop criterion for learning phase.Second phase: Training a new hidden neuron S4: Training weights, of a new hidden neuron by quantum search learning rule with oracle call (2) where is the output value of this new hidden neuron fo

25、r training pattern p. S5: Add the selected hidden neuron to the network, then goto S2.Classification phase:For an unknown pattern X, it is classified to into class c,where 另外，我們也只需再對 CCNN 類神經(jīng)網(wǎng)路做些修正的話，就可以將原量子搜尋學(xué)習(xí)法則的第一及第二缺點也減到最低的程度，使得overfitting的機(jī)會減少，也可以減少量子搜尋找不到符合oracle及同時有二個或二個以上狀態(tài)符合oracle的能夠性。這是相當(dāng)重

26、要的改良，因為量子搜尋演算法中，假設(shè)同時有二個或二個以上的狀態(tài)同時符合oracle的話，那麼量子搜尋演算法是會失敗的；假設(shè)找不到任何一個能符合oracle的狀態(tài)的話，那麼它便表示搜尋失敗，一切狀態(tài)的機(jī)率會堅持一樣，所以我們無從得到解答，也可以說是失敗！原量子搜尋學(xué)習(xí)法則只需上述兩個其中一個情況成立時，它便無法訓(xùn)練類神經(jīng)網(wǎng)路，那麼就需求視情修正類神經(jīng)網(wǎng)路的大小，然後再重新訓(xùn)練類神經(jīng)網(wǎng)路，直到找到一個類神經(jīng)網(wǎng)路架構(gòu)只含獨一一組權(quán)重向量符合oracle為止。事實上，他們的方法是非常不實際的，但我們則參與CCNN的概念並修正oracle的定義來解決它！由於我們的學(xué)習(xí)法則不同於原作者所提出的方法，以及我

27、們的方法是可以自動建構(gòu)類神經(jīng)網(wǎng)路，而且一次只新增一個隱藏量子神經(jīng)元，所以在建構(gòu)出的類神經(jīng)網(wǎng)路架構(gòu)是完全不同於原方法的。我們的類神經(jīng)網(wǎng)路，每個隱藏層只會含有一個隱藏神經(jīng)元。伍、實驗結(jié)果我們同樣以XOR 問題、iris 分類問題、lenses 分類問題及 hayesroth 問題為例，我們的方法需求很少的訓(xùn)練時間及空間，而且，它可以自動地建構(gòu)量子類神經(jīng)網(wǎng)路，不需運用者去決定！而在辨識效果上，二者則相差不遠(yuǎn)。從目前已完成的初步實驗結(jié)果中，我們可以看出我們的方法確實比原量子搜尋學(xué)習(xí)法則要來得更有效率、更可行。陸、研討探討與未來任務(wù)為了解決Bob Ricks 和 Dan Ventura的量子搜尋學(xué)習(xí)法則

28、的缺陷，我們將傳統(tǒng)的cascade correlation 類神經(jīng)網(wǎng)路的概念參與至量子搜尋學(xué)習(xí)法則中。這個改良解決了量子類神經(jīng)網(wǎng)路大小的問題，也解決了假設(shè)干量子搜尋學(xué)習(xí)法則的缺點。從目前的實驗數(shù)據(jù)顯示，我們的新學(xué)習(xí)法則比原量子搜尋學(xué)習(xí)法則更有效率、更可行。然而，我們的方法仍有改進(jìn)的地方。由於我們的學(xué)習(xí)法則是結(jié)合CCNN與量子搜尋演算法，所以愈上層的神經(jīng)元擁有的神經(jīng)連結(jié)數(shù)目也愈多，這也是會呵斥很嚴(yán)重的問題；另外假設(shè)樣本的特徵維度很大時，也是會有可行性上的問題，所以，我們還在繼續(xù)相關(guān)的研討，希望能找出更可行的量子類神經(jīng)網(wǎng)路模型及其學(xué)習(xí)法則。圖一 QCCNN類神經(jīng)網(wǎng)路建構(gòu)過程Wnew hiddenn

29、euronnew hiddenneuronWinput neuronsoutput neurons(a)(b)W(c)(d)(e)weights under trainingfrozen weights柒、致謝本論文呈蒙國科會計畫NSC94-2213-E-214-007-經(jīng)費補助，特此致謝。捌、參考文獻(xiàn)B. Ricks and D. Ventura, Training a Quantum Neural Network, Neural Information Processing Systems, pp. , December 2003.Alexandr Ezhov and Dan Ventur

30、a, HYPERLINK /detailed_publications.php l ezhov.fdisis00 Quantum Neural Networks, in Future Directions for Intelligent Systems and Information Science (Ed. N. Kasabov), Physica-Verlag, 2000.Dan Ventura and Tony Martinez, HYPERLINK /detailed_publications.php l ventura.is

31、00 Quantum Associative Memory, Information Sciences, vol. 124 nos. 1-4, pp. 273-296, 2000.L. K. Grover, A fast Quantum mechanical algorithm for database search, in Proceedings of the 28th ACM STOC, pp. 212-219, 1996.L. K. Grover, Quantum mechanics helps in searching for a needle in a haystack, in Ph

32、ysical Review Letters, Vol. 78, pp. 325-328, 1997.L. Fei and Z. Baoyu, A study of Quantum Neural Networks, in IEEE international conference of Neural Networks & Signal Processing, pp. 539-542, 2003.S. E. Fahlman and C. Lebiere. “The cascade-correlation learning architecture,Technical Report CMU-CS-9

33、0-100, School of Computer Science, Carnegie Mellon University, 1990.S. E. Fahlman and C. Lebiere. “The cascade-correlation learning architecture,In Advances in Neural Information Processing Systems, D. S. Toouretzky, Ed., San Mateo, CA: Morgan Kaufmann, 2:524-532, 1990.S.-J. Lee and M.-T. Jone. “An

34、extended procedure of constructing neural networks for supervised dichotomy.IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics, 26(4):660-665, 1996.S.-J. Lee, M.-T. Jone, H.-L. Tsai. “Constructing neural networks for multi-class descretization based on information entropy.IEEE

35、Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics, 29(3):445-453, 1999.H.-L. Tsai and S.-J. Lee, Construction of Neural Networks on Structured Domains, Proceedings of 9th International Conference on Neural Information Processing, 1:50-54, Singapore, 2002.H.-L. Tsai and S.-J. Lee, “Entropy-base