QCCNN量子類神經(jīng)網(wǎng)路架構(gòu)

1、.：.；QCCNN量子類神經(jīng)網(wǎng)路架構(gòu)蔡賢亮義守大學(xué)資訊管理系 HYPERLINK mailto:.tw .tw劉榕軒義守大學(xué)資訊管理系 HYPERLINK mailto:M9322020.tw M9322020.tw摘要到目前為止，已有各式各樣的量子類神經(jīng)網(wǎng)路模型被提出了。但從研討中，我們發(fā)現(xiàn)到多數(shù)的模型只是個(gè)構(gòu)想，並沒(méi)有提出明確而完好的量子學(xué)習(xí)法則；只需少數(shù)模型有提出量子學(xué)習(xí)法則，但是我們也發(fā)現(xiàn)到這些學(xué)習(xí)法則是不可行的，因?yàn)樗鼈兌疾荒苷嬲姆狭孔永碚?。而從目前已被提出的量子類神?jīng)網(wǎng)路的學(xué)習(xí)法則中

2、，我們發(fā)現(xiàn)到Dan Ventura 和 Tony Martinez 提出的以量子搜尋演算法quantum search algorithm為基礎(chǔ)的學(xué)習(xí)法則是最可行的在論文中，我們將稱此學(xué)習(xí)法則為量子搜尋學(xué)習(xí)法則；但這個(gè)量子學(xué)習(xí)法則卻仍存在假設(shè)干個(gè)缺陷，使得這個(gè)學(xué)習(xí)演算法仍有改進(jìn)之處。為了解決量子搜尋學(xué)習(xí)法則的缺陷，我們提出一個(gè)新的量子類神經(jīng)網(wǎng)路架構(gòu)，它結(jié)合傳統(tǒng)的cascade correlation 類神經(jīng)網(wǎng)路CCNN的自動(dòng)建構(gòu)概念及量子搜尋學(xué)習(xí)法則，我們稱這個(gè)新量子類神經(jīng)網(wǎng)路架構(gòu)為量子cascade correlation 類神經(jīng)網(wǎng)路QCCNN: quantum cascade correl

3、ation neural network。這個(gè)新的架構(gòu)不但解決了如何決定量子類神經(jīng)網(wǎng)路大小的問(wèn)題，也可以減少量子搜尋學(xué)習(xí)法則在訓(xùn)練過(guò)程花費(fèi)的時(shí)間及空間。從初步的實(shí)驗(yàn)數(shù)據(jù)顯示，我們提出的QCCNN及其新學(xué)習(xí)法則確實(shí)更有效率、更可行。關(guān)鍵字：cascade correlation 類神經(jīng)網(wǎng)路、量子類神經(jīng)網(wǎng)路、量子搜尋演算法、錯(cuò)誤嘗試法。壹、引言傳統(tǒng)領(lǐng)域的類神經(jīng)網(wǎng)路NN, neural networks發(fā)展也已有一甲子的歲月了，由於它具有假設(shè)干著越才干，使得類神經(jīng)網(wǎng)路成為發(fā)展最快速的研討領(lǐng)域之一，而且它也已經(jīng)被大量地應(yīng)用在相當(dāng)多的領(lǐng)域上；但就目前的電腦處理架構(gòu)而言，實(shí)際上，我們並未把類神經(jīng)網(wǎng)路的平行

4、處理特性發(fā)揮出來(lái)，我們充其量只是在模擬而已，所以目前類神經(jīng)網(wǎng)路的實(shí)際應(yīng)用結(jié)果乃大大地受限於目前電腦技術(shù)。而超大型積體電路的發(fā)展也接近瓶頸，新的電腦架構(gòu)基因電腦、分子電腦及量子電腦等研發(fā)將是勢(shì)在必行，而量子電腦quantum computers便是一個(gè)方向。假設(shè)量子電腦在未來(lái)果真的成為事實(shí)，那目前科學(xué)界上有假設(shè)干難解或不能夠解的問(wèn)題都將能夠不再是難題了例如，密碼問(wèn)題！另外，量子電腦的量子平行處理才干對(duì)於類神經(jīng)網(wǎng)路也將帶來(lái)革命性的突破，因?yàn)轭惿窠?jīng)網(wǎng)路的平行處理特性得以藉由量子平行計(jì)算技術(shù)而完全發(fā)揮。而以量子理論為基礎(chǔ)的類神經(jīng)網(wǎng)路則稱為量子類神經(jīng)網(wǎng)路QNN, quantum neural netwo

5、rks。到目前為止，已有假設(shè)干量子類神經(jīng)網(wǎng)路模型被提出了，但多數(shù)模型都沒(méi)有提出很明確的方法來(lái)訓(xùn)練它們的量子類神經(jīng)網(wǎng)路，甚至有些模型根本沒(méi)有提及要如何去訓(xùn)練量子類神經(jīng)網(wǎng)路。例如，Altaisky在2001年提出的模型中，他曾提到運(yùn)用類似傳統(tǒng)類神經(jīng)網(wǎng)路的gradient descent學(xué)習(xí)法則來(lái)訓(xùn)練量子類神經(jīng)網(wǎng)路，然而，這個(gè)訓(xùn)練法則能否符合量子理論呢？我們曉得其答案能否認(rèn)的。目前已提出的量子類神經(jīng)網(wǎng)路類似於傳統(tǒng)類神經(jīng)網(wǎng)路的論述有，其它的模型則與傳統(tǒng)類神經(jīng)網(wǎng)路差異極大，例如，quantumdot 類神經(jīng)網(wǎng)路。而這些被提出的量子類神經(jīng)網(wǎng)路模型多數(shù)是不實(shí)用或跟本無(wú)法應(yīng)用量子技術(shù)實(shí)做。但對(duì)於類神經(jīng)網(wǎng)路而言

6、，學(xué)習(xí)法則是它們的主要精華之一，沒(méi)有可行的學(xué)習(xí)法則，它們便失去學(xué)習(xí)的才干，所以，量子類神經(jīng)網(wǎng)路要能實(shí)現(xiàn)的話，那量子學(xué)習(xí)法則也是迫切需求的。而Dan Ventura 和 Tony Martinez在2000年首先提出將量子搜尋演算法quantum search algorithm應(yīng)用在量子關(guān)連記憶學(xué)習(xí)上，利用量子搜尋演算法來(lái)訓(xùn)練量子類神經(jīng)網(wǎng)路。我們發(fā)現(xiàn)這是一個(gè)確實(shí)可行且符合量子理論的量子學(xué)習(xí)法則。貳、量子搜尋學(xué)習(xí)法則傳統(tǒng)類神經(jīng)網(wǎng)路都是藉由調(diào)整權(quán)重值來(lái)達(dá)到學(xué)習(xí)的目的，但是這種方式似乎是不適用於量子類神經(jīng)網(wǎng)路；而要訓(xùn)練量子類神經(jīng)網(wǎng)路的另一個(gè)可行的方法是從一切能夠的權(quán)重向量集合中，找出一組權(quán)重向量能使

7、一切的訓(xùn)練樣天性被正確地分類。在2000年，Dan Ventura 和 Tony Martinez 首先提出將量子搜尋演算法quantum search algorithm應(yīng)用在量子關(guān)連記憶學(xué)習(xí)上，利用量子搜尋演算法在量子關(guān)連記憶學(xué)習(xí)上。又在2003年，Ricks和Ventura再次提出利用量子搜尋演算法來(lái)訓(xùn)練量子類神經(jīng)網(wǎng)路，並且實(shí)驗(yàn)証明其方法的可行性。這也是我們目前發(fā)現(xiàn)最可行的量子學(xué)習(xí)法則。他們利用量子搜尋演算法從一切能夠的權(quán)重集合中找出一組權(quán)重，這組權(quán)重需可以勝利且正確地分類一切的訓(xùn)練樣本，而它便是訓(xùn)練完成後所得到的最後權(quán)重。這個(gè)作法的基礎(chǔ)想法是利用量子理論的狀態(tài)線性疊加linear su

8、perposition的特性，將一切能夠的權(quán)重向量疊加在一同，然後運(yùn)用量子搜尋演算法從中尋求得一組權(quán)重向量，使得一切的訓(xùn)練樣本勝利地被分類。到目前為止，量子搜尋演算法是少數(shù)已被認(rèn)定為符合量子計(jì)算領(lǐng)域的演算法之一，而以它為基礎(chǔ)的量子搜尋學(xué)習(xí)法則也完全符合量子理論，所以，我們認(rèn)為這個(gè)方法是可行的。他們也勝利地將量子搜尋學(xué)習(xí)法則應(yīng)用在假設(shè)干的實(shí)際問(wèn)題上，例如，他們已經(jīng)勝利地利用量子搜尋學(xué)習(xí)法則解決了 XOR 問(wèn)題、iris 分類問(wèn)題、lenses 分類問(wèn)題及 hayes-roth 問(wèn)題上。而且從實(shí)驗(yàn)的數(shù)據(jù)上來(lái)看，這個(gè)學(xué)習(xí)法則是確實(shí)可行的，而且效能也是相當(dāng)不錯(cuò)。由這些實(shí)驗(yàn)的數(shù)據(jù)更證明了量子搜尋學(xué)習(xí)法則

9、的可行性。一、量子搜尋演算法Grover在1996年提出量子搜尋演算法，它是少數(shù)已被認(rèn)定為符合量子計(jì)算領(lǐng)域的演算法之一。在N個(gè)未排序過(guò)的資料中搜尋出給定的資料，假設(shè)以傳統(tǒng)搜尋演算法需求 次比較，而量子搜尋演算法 次比較。Grover的量子搜尋演算法利用一個(gè)稱為quantum oracle call黑盒子，和一個(gè)稱為inversion about average量子運(yùn)算子，來(lái)逐漸增大給定資料的狀態(tài)被測(cè)量到的機(jī)率。在經(jīng)過(guò) 次運(yùn)算後，具有最高機(jī)率的資料便是我們的搜尋目標(biāo)。二、量子搜尋學(xué)習(xí)法則的缺點(diǎn)雖然實(shí)驗(yàn)的數(shù)據(jù)更證明了量子搜尋學(xué)習(xí)法則的可行性，但是我們?nèi)园l(fā)現(xiàn)到量子搜尋學(xué)習(xí)法則有以下的缺陷：第一，假設(shè)

10、要符合全部訓(xùn)練樣本要被勝利分類的 oracle call，我們或許可以找到一組合適的權(quán)重向量，但這組權(quán)重向量很能夠並不是我們需求的，因?yàn)樗軌蛴羞^(guò)渡訓(xùn)練overfitting了。假設(shè)訓(xùn)練樣本集合中含有假設(shè)干的錯(cuò)誤樣本，或訓(xùn)練樣本含有雜訊時(shí)，過(guò)渡訓(xùn)練的發(fā)生那就勢(shì)必會(huì)發(fā)生，因?yàn)槲覀兒苣軌蛐枨笠粋€(gè)較大的量子類神經(jīng)網(wǎng)路才有機(jī)會(huì)將這些有問(wèn)題的訓(xùn)練樣本百分之百地分類勝利，而訓(xùn)練完的量子類神經(jīng)網(wǎng)路不僅記憶正確的樣本，同時(shí)也將錯(cuò)誤的樣本留在記憶中，這對(duì)分類未知樣本會(huì)呵斥極嚴(yán)重的錯(cuò)誤，所以讓全數(shù)的訓(xùn)練樣本百分之百分類勝利的oracle call是很不恰當(dāng)?shù)摹Ｗ髡逺icks和Ventura為了解決這個(gè)缺陷，他們將

11、量子搜尋演算法中的oracle call做了些許的修正，將oracle call改為不再需求全數(shù)訓(xùn)練樣本被正確分類，而將oracle call設(shè)定成訓(xùn)練樣本正確分類率低於100%例如，95%。這個(gè)修正確實(shí)能解決這個(gè)問(wèn)題，但是我們很難決定oracle call應(yīng)該設(shè)多少才適當(dāng)。假設(shè)oracle call設(shè)太高的話，很能夠沒(méi)有任何一組權(quán)重能通過(guò)它，這將呵斥每一組權(quán)重都擁有一樣的機(jī)率，也就是沒(méi)有一組權(quán)重會(huì)超過(guò)0.5，所以，搜尋失敗！另外，這也能夠呵斥overfitting的問(wèn)題。第二，當(dāng)量子搜尋學(xué)習(xí)法則在尋找一組權(quán)重向量時(shí)，我們所需花費(fèi)的空間複雜度space complexity是指數(shù)成長(zhǎng)的例如，假

12、設(shè)要搜尋n-bits的資料空間，則所需的空間複雜度為，這對(duì)於較複雜的問(wèn)題或架構(gòu)較大的量子類神經(jīng)網(wǎng)路將會(huì)是不可行的。作者也提出了片斷權(quán)重學(xué)習(xí)法則piecewise weight learning rule來(lái)改善此缺陷，它是以隨機(jī)選取某個(gè)神經(jīng)元來(lái)訓(xùn)練其權(quán)重其它神經(jīng)元的權(quán)重則凝結(jié)不動(dòng)，所以每個(gè)神經(jīng)元的權(quán)重分開(kāi)獨(dú)立訓(xùn)練，而不在將整個(gè)量子類神經(jīng)網(wǎng)路的一切權(quán)重同時(shí)訓(xùn)練。雖然這種方式可以降低空間複雜度的問(wèn)題，但它卻大大地拉長(zhǎng)訓(xùn)練的時(shí)間，因?yàn)樗匦璩掷m(xù)地隨機(jī)訓(xùn)練單一個(gè)神經(jīng)元的權(quán)重，直到整個(gè)量子類神經(jīng)網(wǎng)路達(dá)到我們的要求為止。第三，不論是傳統(tǒng)或是量子類神經(jīng)網(wǎng)路，當(dāng)我們要運(yùn)用它們來(lái)解問(wèn)題時(shí)，我們首先會(huì)遇到一個(gè)困難，

13、那就是終究要用多大的類神經(jīng)網(wǎng)路才合適呢？這個(gè)問(wèn)題其實(shí)對(duì)於類神經(jīng)網(wǎng)路的表現(xiàn)是影響艱苦的，因?yàn)樘蟮募軜?gòu)通常會(huì)出現(xiàn)overfitting的現(xiàn)象。另外，對(duì)於量子搜尋學(xué)習(xí)法則來(lái)說(shuō)，大的架構(gòu)也是需求較多的訓(xùn)練時(shí)間及相當(dāng)龐大的空間複雜度如第二點(diǎn)所述，所以，太大的類神經(jīng)網(wǎng)路架構(gòu)是不妥當(dāng)?shù)?；然而，太小的架?gòu)則會(huì)有訓(xùn)練缺乏或無(wú)法訓(xùn)練的現(xiàn)象產(chǎn)生，它的訓(xùn)練過(guò)程能夠都無(wú)法收斂，所以訓(xùn)練程序是無(wú)法結(jié)束，只能靠人為中止它，另外，這樣的類神經(jīng)網(wǎng)路的分類品質(zhì)必定也不高，所以，小架構(gòu)的類神經(jīng)網(wǎng)路也是不妥當(dāng)?shù)?。在他們的?shí)驗(yàn)中，他們顯示出他們的量子搜尋學(xué)習(xí)法則的效能，但他們卻沒(méi)有告訴我們，實(shí)驗(yàn)中所採(cǎi)用的類神經(jīng)網(wǎng)路大小是如何制定的。

14、其實(shí)，我們可以很容易地猜測(cè)到，他們應(yīng)該是採(cǎi)用傳統(tǒng)類神經(jīng)網(wǎng)路中的錯(cuò)誤嘗試法trial-and-error來(lái)找出一個(gè)合適的量子類神經(jīng)網(wǎng)路，這種作法是不可行的，因?yàn)檫@種做法使得他們將花更多的訓(xùn)練時(shí)間及空間。雖然量子搜尋學(xué)習(xí)法則仍有上述的缺點(diǎn)存在，不過(guò)這個(gè)方法還是目前被提出的量子類神經(jīng)學(xué)習(xí)法則中是較可行的，其實(shí)有些缺點(diǎn)也同樣存在於傳統(tǒng)的類神經(jīng)網(wǎng)路，而且已經(jīng)勝利地被解決了，例如，類神經(jīng)網(wǎng)路架構(gòu)問(wèn)題就有假設(shè)干的演算法被提出，而我們也針對(duì)這個(gè)問(wèn)題做了不少的研討，提出一系列的方法來(lái)讓類神經(jīng)網(wǎng)路自動(dòng)建構(gòu)合適的類神經(jīng)網(wǎng)路架構(gòu)，並且獲得相當(dāng)不錯(cuò)的成果。所以，我們或許也可以將傳統(tǒng)的解決方法應(yīng)用到量子類神經(jīng)網(wǎng)路中，並解

15、決上述的缺點(diǎn)。從這些已被提出的傳統(tǒng)類神經(jīng)網(wǎng)路演算法中，我們發(fā)現(xiàn)傳統(tǒng)的cascade correlation 類神經(jīng)網(wǎng)路CCNN有很多不錯(cuò)的特性，它勝利的解決了不少傳統(tǒng)類神經(jīng)網(wǎng)路的問(wèn)題，而某些一樣的問(wèn)題也同樣困擾著量子類神經(jīng)網(wǎng)路，而且從它的假設(shè)干特性中，我們發(fā)現(xiàn)這些特性可以應(yīng)用到量子類神經(jīng)網(wǎng)路上。參、Cascade Correlation類神經(jīng)網(wǎng)路CCNN以下我們對(duì)cascade correlation 類神經(jīng)網(wǎng)路做些簡(jiǎn)略的介紹，並說(shuō)明他的那些特性可以解決那些量子搜尋學(xué)習(xí)法則存在的缺陷。傳統(tǒng)類神經(jīng)網(wǎng)路 cascade correlation 類神經(jīng)網(wǎng)路是自動(dòng)建構(gòu)類神經(jīng)網(wǎng)路架構(gòu)的演算法之一，也具有

16、令人稱讚的效能，它的效能也遠(yuǎn)遠(yuǎn)優(yōu)於傳統(tǒng)的倒傳遞類神經(jīng)網(wǎng)路back-propagation neural networks，是一個(gè)相當(dāng)有效率的類神經(jīng)網(wǎng)路架構(gòu)。它不像倒傳遞類神經(jīng)網(wǎng)路是同時(shí)訓(xùn)練整個(gè)類神經(jīng)網(wǎng)路的權(quán)重值，它是可以依需求自動(dòng)地動(dòng)態(tài)建構(gòu)出多階層multilayer的類神經(jīng)網(wǎng)路，所以它比倒傳遞類神經(jīng)網(wǎng)路具有快速的學(xué)習(xí)速率，它可以本人決定本人的網(wǎng)路大小及架構(gòu)，而且當(dāng)訓(xùn)練樣本集合改變時(shí)，它不需重新再建構(gòu)一個(gè)全新的網(wǎng)路架構(gòu)，它可以以先前的網(wǎng)路架構(gòu)為基礎(chǔ)，再繼續(xù)增建已訓(xùn)練過(guò)的類神經(jīng)網(wǎng)路架構(gòu)。CCNN 類神經(jīng)網(wǎng)路在尚未訓(xùn)練時(shí)，它只包含輸入層及輸出層，而經(jīng)由訓(xùn)練的過(guò)程，它會(huì)依需求自動(dòng)地參與新的隱藏神經(jīng)元

17、，直到訓(xùn)練樣本的勝利分類率達(dá)到我們的要求為止。新的隱藏神經(jīng)元參與的方法是一個(gè)一個(gè)依序參與的，而且它每次只需訓(xùn)練要參與的隱藏神經(jīng)元hidden neurons，而其它已存在之神經(jīng)元及其所屬之權(quán)重則被凍結(jié)不變，所以 CCNN 類神經(jīng)網(wǎng)路是可以解決量子搜尋學(xué)習(xí)法則的第二及第三個(gè)缺點(diǎn)。由於CCNN是一次只訓(xùn)練一個(gè)隱藏神經(jīng)元的權(quán)重，所以，每訓(xùn)練一個(gè)隱藏神經(jīng)元的一切能夠權(quán)重集合會(huì)遠(yuǎn)少於整個(gè)量子類神經(jīng)網(wǎng)路的一切權(quán)重集合，所以，我們可以大大減少所需的訓(xùn)練空間複雜度。而我們只需再對(duì) CCNN 類神經(jīng)網(wǎng)路的自動(dòng)建構(gòu)演算法做些修正的話，我們也可以將量子搜尋學(xué)習(xí)法則的第一個(gè)缺點(diǎn)也減到最低的程度。CCNN 類神經(jīng)網(wǎng)路的

18、學(xué)習(xí)法則是兩階段式的，第一個(gè)階段，是調(diào)整輸出層與一切隱藏層及輸入層之間的權(quán)重向量，藉由訓(xùn)練的過(guò)程，可以漸漸地降低錯(cuò)誤函式的值，而當(dāng)錯(cuò)誤值變化量小於某一預(yù)設(shè)門檻時(shí)，也就是訓(xùn)練趨近於穩(wěn)定時(shí)，此一個(gè)階段學(xué)習(xí)程序便中止，並判斷訓(xùn)練樣本被正確辨識(shí)的準(zhǔn)確率能否達(dá)到我們的要求，假設(shè)是，則結(jié)束整個(gè)學(xué)習(xí)程序，整個(gè)類神經(jīng)網(wǎng)路便建構(gòu)完成了；否則，便參與一個(gè)新的隱藏神經(jīng)元，並進(jìn)入第二學(xué)習(xí)階段。這一階段的學(xué)習(xí)程序是要調(diào)整此新參與隱藏神經(jīng)元與輸入層及一切已存在之隱藏神經(jīng)元之間的權(quán)重向量，經(jīng)由訓(xùn)練的過(guò)程，可以漸漸地提升此新神經(jīng)元輸出值與輸出層的錯(cuò)誤值的相關(guān)值correlation。此相闗值愈大則代表此新參與的隱藏神經(jīng)元可以

19、更降低錯(cuò)誤值。同樣地，當(dāng)相關(guān)值添加緩慢時(shí)，第二階段學(xué)習(xí)程序便中止，並且把此隱藏神經(jīng)元的權(quán)重凍結(jié)。然後便重回第一階段重複執(zhí)行。這兩個(gè)學(xué)習(xí)階段會(huì)被重複地執(zhí)行，直到訓(xùn)練樣本的勝利辨識(shí)率達(dá)到要求為止。肆、QCCNN量子類神經(jīng)網(wǎng)路架構(gòu)那要如何讓CCNN的自動(dòng)建構(gòu)特性交融Bob Ricks 和 Dan Ventura 提出的量子搜尋學(xué)習(xí)法則呢？我們利用二者的特性來(lái)建立量子類神經(jīng)網(wǎng)路自動(dòng)建構(gòu)演算法，它具有CCNN的自動(dòng)建構(gòu)特性，也擁有Bob Ricks 和 Dan Ventura 提出的量子搜尋學(xué)習(xí)法則。用這種方式建構(gòu)出來(lái)的量子類神經(jīng)網(wǎng)路，我們稱它為quantum cascade correlation類神

20、經(jīng)網(wǎng)路，簡(jiǎn)稱為QCCNN。QCCNN演算法如表一所示。QCCNN類神經(jīng)網(wǎng)路建構(gòu)過(guò)程如圖一所示。QCCNN 類神經(jīng)網(wǎng)路在尚未訓(xùn)練之初，它也同樣是只需輸入神經(jīng)層和輸出神經(jīng)層。在第一個(gè)階段中，我們是調(diào)整輸出層與一切隱藏層及輸入層之間的權(quán)重向量，藉由量子搜尋學(xué)習(xí)演算法的訓(xùn)練過(guò)程，我們可以快速地找到一組權(quán)重向量，並使錯(cuò)誤值為最小，所以第一階段便結(jié)束；接下來(lái)，我們要判斷訓(xùn)練樣本被正確辨識(shí)的準(zhǔn)確率能否達(dá)到要求，假設(shè)是，則結(jié)束整個(gè)學(xué)習(xí)程序，量子類神經(jīng)網(wǎng)路便建構(gòu)完成了；否則，便參與一個(gè)新的隱藏量子神經(jīng)元，並進(jìn)入第二學(xué)習(xí)階段。這一階段的學(xué)習(xí)程序是要調(diào)整此新參與隱藏量子神經(jīng)元與輸入層及一切已存在之隱藏量子神經(jīng)元之間

21、的權(quán)重向量。同樣地，我們是採(cǎi)用量子搜尋的技巧來(lái)調(diào)整權(quán)重向量，並可以很快地找到一組權(quán)重值，使此新神經(jīng)元輸出值與輸出層的錯(cuò)誤值的相關(guān)值為最大，第二階段學(xué)習(xí)程序便中止，並且把此新參與的隱藏量子神經(jīng)元的權(quán)重凍結(jié)。然後便重回第一階段重複執(zhí)行。這兩個(gè)學(xué)習(xí)階段會(huì)被重複地執(zhí)行，直到訓(xùn)練樣本的勝利辨識(shí)率達(dá)到要求為止。每執(zhí)行第二階段學(xué)習(xí)程序一次便代表新增一個(gè)隱藏量子神經(jīng)元，換句話說(shuō)，第二階段學(xué)習(xí)程式重複執(zhí)行的次數(shù)便代表隱藏量子神經(jīng)元的個(gè)數(shù)。我們的QCCNN架構(gòu)中，由於學(xué)習(xí)法則是兩階段的，所以我們也需求有二個(gè)不同性質(zhì)的oracle，這兩個(gè)oracle各負(fù)責(zé)不同的任務(wù)，所要逹到的目標(biāo)也不一樣。在第一階段中，我們是希望

22、經(jīng)由量子搜尋技巧找到介於輸出層和其它層間的權(quán)重向量，而這組權(quán)重向量能使得訓(xùn)練樣本的正確辨識(shí)率最高，換句話說(shuō)，就是使得輸出層的錯(cuò)誤值最低；而在第二階段中，我們會(huì)新增一個(gè)隱藏量子神經(jīng)元至量子類神經(jīng)網(wǎng)路中，並希望同樣經(jīng)由量子搜尋技術(shù)找到新隱藏量子神經(jīng)元的權(quán)重向量，這組權(quán)重向量可以使得新神經(jīng)元的輸出值和輸出層的錯(cuò)誤值產(chǎn)生最大的相關(guān)；假設(shè)二者間的關(guān)連愈大，那代表這個(gè)新參與的神經(jīng)元可以使得輸出層的錯(cuò)誤可以降得更低。表一 QCCNN演算法Algorithm QCCNNLearning phase: S1: Begin with the minimal network with no hidden neuro

23、nsFirst phase: Training output neurons S2: Training Weights, , of output neurons by quantum search leaning rule with oracle call (1) where , , and are the error, the desired output value, and actual output value of output neuron o for training pattern p, respectively. S3: If then stop, where is the

24、percentage of successful classification for training patterns and is a stop criterion for learning phase.Second phase: Training a new hidden neuron S4: Training weights, of a new hidden neuron by quantum search learning rule with oracle call (2) where is the output value of this new hidden neuron fo

25、r training pattern p. S5: Add the selected hidden neuron to the network, then goto S2.Classification phase:For an unknown pattern X, it is classified to into class c,where 另外，我們也只需再對(duì) CCNN 類神經(jīng)網(wǎng)路做些修正的話，就可以將原量子搜尋學(xué)習(xí)法則的第一及第二缺點(diǎn)也減到最低的程度，使得overfitting的機(jī)會(huì)減少，也可以減少量子搜尋找不到符合oracle及同時(shí)有二個(gè)或二個(gè)以上狀態(tài)符合oracle的能夠性。這是相當(dāng)重

26、要的改良，因?yàn)榱孔铀褜ぱ菟惴ㄖ?，假設(shè)同時(shí)有二個(gè)或二個(gè)以上的狀態(tài)同時(shí)符合oracle的話，那麼量子搜尋演算法是會(huì)失敗的；假設(shè)找不到任何一個(gè)能符合oracle的狀態(tài)的話，那麼它便表示搜尋失敗，一切狀態(tài)的機(jī)率會(huì)堅(jiān)持一樣，所以我們無(wú)從得到解答，也可以說(shuō)是失敗！原量子搜尋學(xué)習(xí)法則只需上述兩個(gè)其中一個(gè)情況成立時(shí)，它便無(wú)法訓(xùn)練類神經(jīng)網(wǎng)路，那麼就需求視情修正類神經(jīng)網(wǎng)路的大小，然後再重新訓(xùn)練類神經(jīng)網(wǎng)路，直到找到一個(gè)類神經(jīng)網(wǎng)路架構(gòu)只含獨(dú)一一組權(quán)重向量符合oracle為止。事實(shí)上，他們的方法是非常不實(shí)際的，但我們則參與CCNN的概念並修正oracle的定義來(lái)解決它！由於我們的學(xué)習(xí)法則不同於原作者所提出的方法，以及我

27、們的方法是可以自動(dòng)建構(gòu)類神經(jīng)網(wǎng)路，而且一次只新增一個(gè)隱藏量子神經(jīng)元，所以在建構(gòu)出的類神經(jīng)網(wǎng)路架構(gòu)是完全不同於原方法的。我們的類神經(jīng)網(wǎng)路，每個(gè)隱藏層只會(huì)含有一個(gè)隱藏神經(jīng)元。伍、實(shí)驗(yàn)結(jié)果我們同樣以XOR 問(wèn)題、iris 分類問(wèn)題、lenses 分類問(wèn)題及 hayesroth 問(wèn)題為例，我們的方法需求很少的訓(xùn)練時(shí)間及空間，而且，它可以自動(dòng)地建構(gòu)量子類神經(jīng)網(wǎng)路，不需運(yùn)用者去決定！而在辨識(shí)效果上，二者則相差不遠(yuǎn)。從目前已完成的初步實(shí)驗(yàn)結(jié)果中，我們可以看出我們的方法確實(shí)比原量子搜尋學(xué)習(xí)法則要來(lái)得更有效率、更可行。陸、研討探討與未來(lái)任務(wù)為了解決Bob Ricks 和 Dan Ventura的量子搜尋學(xué)習(xí)法則

28、的缺陷，我們將傳統(tǒng)的cascade correlation 類神經(jīng)網(wǎng)路的概念參與至量子搜尋學(xué)習(xí)法則中。這個(gè)改良解決了量子類神經(jīng)網(wǎng)路大小的問(wèn)題，也解決了假設(shè)干量子搜尋學(xué)習(xí)法則的缺點(diǎn)。從目前的實(shí)驗(yàn)數(shù)據(jù)顯示，我們的新學(xué)習(xí)法則比原量子搜尋學(xué)習(xí)法則更有效率、更可行。然而，我們的方法仍有改進(jìn)的地方。由於我們的學(xué)習(xí)法則是結(jié)合CCNN與量子搜尋演算法，所以愈上層的神經(jīng)元擁有的神經(jīng)連結(jié)數(shù)目也愈多，這也是會(huì)呵斥很嚴(yán)重的問(wèn)題；另外假設(shè)樣本的特徵維度很大時(shí)，也是會(huì)有可行性上的問(wèn)題，所以，我們還在繼續(xù)相關(guān)的研討，希望能找出更可行的量子類神經(jīng)網(wǎng)路模型及其學(xué)習(xí)法則。圖一 QCCNN類神經(jīng)網(wǎng)路建構(gòu)過(guò)程Wnew hiddenn

29、euronnew hiddenneuronWinput neuronsoutput neurons(a)(b)W(c)(d)(e)weights under trainingfrozen weights柒、致謝本論文呈蒙國(guó)科會(huì)計(jì)畫(huà)NSC94-2213-E-214-007-經(jīng)費(fèi)補(bǔ)助，特此致謝。捌、參考文獻(xiàn)B. Ricks and D. Ventura, Training a Quantum Neural Network, Neural Information Processing Systems, pp. , December 2003.Alexandr Ezhov and Dan Ventur

30、a, HYPERLINK /detailed_publications.php l ezhov.fdisis00 Quantum Neural Networks, in Future Directions for Intelligent Systems and Information Science (Ed. N. Kasabov), Physica-Verlag, 2000.Dan Ventura and Tony Martinez, HYPERLINK /detailed_publications.php l ventura.is

31、00 Quantum Associative Memory, Information Sciences, vol. 124 nos. 1-4, pp. 273-296, 2000.L. K. Grover, A fast Quantum mechanical algorithm for database search, in Proceedings of the 28th ACM STOC, pp. 212-219, 1996.L. K. Grover, Quantum mechanics helps in searching for a needle in a haystack, in Ph

32、ysical Review Letters, Vol. 78, pp. 325-328, 1997.L. Fei and Z. Baoyu, A study of Quantum Neural Networks, in IEEE international conference of Neural Networks & Signal Processing, pp. 539-542, 2003.S. E. Fahlman and C. Lebiere. “The cascade-correlation learning architecture,Technical Report CMU-CS-9

33、0-100, School of Computer Science, Carnegie Mellon University, 1990.S. E. Fahlman and C. Lebiere. “The cascade-correlation learning architecture,In Advances in Neural Information Processing Systems, D. S. Toouretzky, Ed., San Mateo, CA: Morgan Kaufmann, 2:524-532, 1990.S.-J. Lee and M.-T. Jone. “An

34、extended procedure of constructing neural networks for supervised dichotomy.IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics, 26(4):660-665, 1996.S.-J. Lee, M.-T. Jone, H.-L. Tsai. “Constructing neural networks for multi-class descretization based on information entropy.IEEE

35、Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics, 29(3):445-453, 1999.H.-L. Tsai and S.-J. Lee, Construction of Neural Networks on Structured Domains, Proceedings of 9th International Conference on Neural Information Processing, 1:50-54, Singapore, 2002.H.-L. Tsai and S.-J. Lee, “Entropy-base