算法分析與設(shè)計第4章貪心算法

1、1第4章 貪心算法2學(xué)習(xí)要點學(xué)習(xí)要點理解貪心算法的概念。理解貪心算法的概念。掌握貪心算法的基本要素掌握貪心算法的基本要素 （1）最優(yōu)子結(jié)構(gòu)性質(zhì)）最優(yōu)子結(jié)構(gòu)性質(zhì)（2）貪心選擇性質(zhì)）貪心選擇性質(zhì)理解貪心算法與動態(tài)規(guī)劃算法的差異理解貪心算法與動態(tài)規(guī)劃算法的差異理解貪心算法的一般理論理解貪心算法的一般理論通過應(yīng)用范例學(xué)習(xí)貪心設(shè)計策略。通過應(yīng)用范例學(xué)習(xí)貪心設(shè)計策略。（1）活動安排問題；）活動安排問題；（2）最優(yōu)裝載問題；）最優(yōu)裝載問題；（3）哈夫曼編碼；）哈夫曼編碼；（4）單源最短路徑；）單源最短路徑；（5）最小生成樹；）最小生成樹；3 顧名思義，貪心算法總是作出在當(dāng)前看來最顧名思義，貪心算法總是作出在

2、當(dāng)前看來最好的選擇。也就是說貪心算法并不從整體最優(yōu)考好的選擇。也就是說貪心算法并不從整體最優(yōu)考慮，它所作出的選擇只是在某種意義上的慮，它所作出的選擇只是在某種意義上的局部最局部最優(yōu)優(yōu)選擇。當(dāng)然，希望貪心算法得到的最終結(jié)果也選擇。當(dāng)然，希望貪心算法得到的最終結(jié)果也是整體最優(yōu)的。雖然貪心算法不能對所有問題都是整體最優(yōu)的。雖然貪心算法不能對所有問題都得到整體最優(yōu)解，但對許多問題它能產(chǎn)生整體最得到整體最優(yōu)解，但對許多問題它能產(chǎn)生整體最優(yōu)解。如優(yōu)解。如單源最短路徑問題單源最短路徑問題，最小生成樹問題最小生成樹問題等。等。在一些情況下，即使貪心算法不能得到整體最優(yōu)在一些情況下，即使貪心算法不能得到整體最優(yōu)

3、解，其最終結(jié)果卻是最優(yōu)解的很好近似。解，其最終結(jié)果卻是最優(yōu)解的很好近似。44.1 活動安排問題 活動安排問題就是要在所給的活動集合中選出最大的相容活動子集合，是可以用貪心算，是可以用貪心算法有效求解的很好例子。該問題要求高效地安法有效求解的很好例子。該問題要求高效地安排一系列爭用某一公共資源的活動。貪心算法排一系列爭用某一公共資源的活動。貪心算法提供了一個簡單、漂亮的方法使得盡可能多的提供了一個簡單、漂亮的方法使得盡可能多的活動能兼容地使用公共資源?；顒幽芗嫒莸厥褂霉操Y源。54.1 活動安排問題 設(shè)有n個活動的集合E=1,2,n，其中每個活動都要求使用同一資源，如演講會場等，而在同一時間內(nèi)只

4、有一個活動能使用這一資源。每個活動i都有一個要求使用該資源的起始時間si和一個結(jié)束時間fi,且si fi 。如果選擇了活動i，則它在半開時間區(qū)間si, fi)內(nèi)占用資源。若區(qū)間si, fi)與區(qū)間sj, fj)不相交，則稱活動i與活動j是相容的。也就是說，當(dāng)sifj或sjfi時，活動i與活動j相容。64.1 活動安排問題templatevoid GreedySelector(int n, Type s, Type f, bool A) A1=true; int j=1; for (int i=2;i=fj) Ai=true; j=i; else Ai=false; 下面給出解活動安排問題的貪心

5、算法下面給出解活動安排問題的貪心算法GreedySelector :GreedySelector :各活動的起始時各活動的起始時間和結(jié)束時間存間和結(jié)束時間存儲于數(shù)組儲于數(shù)組s s和和f f中中且按結(jié)束時間的且按結(jié)束時間的非減序排列非減序排列 74.1 活動安排問題 由于輸入的活動以其完成時間的由于輸入的活動以其完成時間的非減序非減序排列，所以算法排列，所以算法greedySelectorgreedySelector每次總是選每次總是選擇擇具有最早完成時間具有最早完成時間的相容活動加入集合的相容活動加入集合A A中。該算法的貪心選擇的意義是中。該算法的貪心選擇的意義是使剩余的可使剩余的可安排時間

6、段極大化安排時間段極大化，以便安排盡可能多的相，以便安排盡可能多的相容活動。容活動。 算法算法greedySelectorgreedySelector的效率極高。只需的效率極高。只需O(n)O(n)的時間。如果所給出的活動未按非減序的時間。如果所給出的活動未按非減序排列，可以用排列，可以用O(nlogn)O(nlogn)的時間重排。的時間重排。 84.1 活動安排問題 例：例：設(shè)待安排的11個活動的開始時間和結(jié)束時間按結(jié)束時間的非減序排列如下：i1234567891011Si130535688212fi45678910 11 12131494.1 活動安排問題 算法算法greedySelect

7、or greedySelector 的的計算過程計算過程如左圖所示。圖中每行相應(yīng)于算法的一次迭代。陰影長條表示的活動是已選入集合A的活動，而空白長條表示的活動是當(dāng)前正在檢查相容性的活動。104.1 活動安排問題 貪心算法并不總能求得問題的整體最優(yōu)解。但對于活動安排問題，貪心算法greedySelector卻總能求得的整體最優(yōu)解，即它最終所確定的相容活動集合A的規(guī)模最大。 這個結(jié)論可以用數(shù)學(xué)歸納法證明。114.2 貪心算法的基本要素 對于一個具體的問題，怎么知道是否可用貪心算法解此問題，以及能否得到問題的最優(yōu)解呢?這個問題很難給予肯定的回答。 但是，從許多可以用貪心算法求解的問題中看到這類問題一

8、般具有2個重要的性質(zhì)：貪心選擇貪心選擇性質(zhì)性質(zhì)和最優(yōu)子結(jié)構(gòu)性質(zhì)最優(yōu)子結(jié)構(gòu)性質(zhì)。 124.2 貪心算法的基本要素1 1、貪心選擇性質(zhì)、貪心選擇性質(zhì) 貪心選擇性質(zhì)貪心選擇性質(zhì)是指所求問題的整體最優(yōu)解整體最優(yōu)解可以通過一系列局部最優(yōu)局部最優(yōu)的選擇，即貪心選擇來達(dá)到。這是貪心算法可行的第一個基本要素。 動態(tài)規(guī)劃算法通常以自底向上自底向上的方式解各子問題，而貪心算法則通常以自頂向下自頂向下的方式進(jìn)行，以迭代的方式作出相繼的貪心選擇，每作一次貪心選擇就將所求問題簡化為規(guī)模更小的子問題。 對于一個具體問題，要確定它是否具有貪心選擇性質(zhì)，必須證明每一步所作的貪心選擇最終導(dǎo)致問題的整體最優(yōu)解。134.2 貪心算

9、法的基本要素 當(dāng)一個問題的最優(yōu)解包含其子問題的最優(yōu)解時，稱此問題具有最優(yōu)子結(jié)構(gòu)性質(zhì)最優(yōu)子結(jié)構(gòu)性質(zhì)。問題的最優(yōu)子結(jié)構(gòu)性質(zhì)是該問題可用動態(tài)規(guī)劃算法或貪心算法求解的關(guān)鍵特征。 2 2、最優(yōu)子結(jié)構(gòu)性質(zhì)、最優(yōu)子結(jié)構(gòu)性質(zhì)144.2 貪心算法的基本要素 對于具有最優(yōu)子結(jié)構(gòu)最優(yōu)子結(jié)構(gòu)的問題應(yīng)該選用貪心算法還是動態(tài)規(guī)劃算法求解?是否能用動態(tài)規(guī)劃算法求解的問題也能用貪心算法求解?3、貪心算法與動態(tài)規(guī)劃算法的差異154.2 貪心算法的基本要素n0-10-1背包問題背包問題： 給定n種物品和一個背包。物品i的重量是Wi，其價值為Vi，背包的容量為C。應(yīng)如何選擇裝入背包的物品，使得裝入背包中物品的總價值最大? 在選擇裝

10、入背包的物品時，對每種物品在選擇裝入背包的物品時，對每種物品i只只有有2種選擇，即裝入背包或不裝入背包。不能種選擇，即裝入背包或不裝入背包。不能將物品將物品i裝入背包多次，也不能只裝入部分的裝入背包多次，也不能只裝入部分的物品物品i。164.2 貪心算法的基本要素n背包問題：背包問題： 與0-1背包問題類似，所不同的是在選擇物品i裝入背包時，可以選擇物品可以選擇物品i的一部分的一部分，而不一定要全部裝入背包，1in。 這2類問題都具有最優(yōu)子結(jié)構(gòu)最優(yōu)子結(jié)構(gòu)性質(zhì)，極為相似，但背包問題可以用貪心算法求解，而0-1背包問題卻不能用貪心算法求解。 174.2 貪心算法的基本要素 首先計算每種物品單位重量

11、的價值Vi/Wi，然后，依貪心選擇策略，將盡可能多的單位重量價值最高單位重量價值最高的物品裝入背包。若將這種物品全部裝入背包后，背包內(nèi)的物品總重量未超過C，則選擇單位重量價值次高的物品并盡可能多地裝入背包。依此策略一直地進(jìn)行下去，直到背包裝滿為止。 具體算法可描述如下： 用貪心算法解背包問題的基本步驟：184.2 貪心算法的基本要素void Knapsack(int n,float M,float v,float w,float x) Sort(n,v,w); int i; for (i=1;i=n;i+) xi=0; float c=M; for (i=1;ic) break; xi=1;

12、c-=wi; if (i=n) xi=c/wi;算法時間算法時間O(nlogn）.為了證明算法的正確性，為了證明算法的正確性，還必須證明背包問題具還必須證明背包問題具有貪心選擇性質(zhì)有貪心選擇性質(zhì)。194.2 貪心算法的基本要素 對于0-10-1背包問題背包問題，貪心選擇之所以不能得到最優(yōu)解是因為在這種情況下，它無法保證最終能將背包裝滿，部分閑置的背包空間使每公斤背包空間的價值降低了。事實上，在考慮0-1背包問題時，應(yīng)比較選擇該物品和不選擇該物品所導(dǎo)致的最終方案，然后再作出最好選擇。由此就導(dǎo)出許多互相重疊的子問題。這正是該問題可用動態(tài)規(guī)劃算法動態(tài)規(guī)劃算法求解的另一重要特征。204.3 最優(yōu)裝載

13、有一批集裝箱要裝上一艘載重量為c的輪船。其中集裝箱i的重量為Wi。最優(yōu)裝載問題要求確定在裝載體積不受限制的情況下，將盡可能多的集裝箱裝上輪船。1、算法描述、算法描述最優(yōu)裝載問題可用貪心算法求解。采用重量最輕者先裝的貪心選擇策略，可產(chǎn)生最優(yōu)裝載問題的最優(yōu)解。具體算法描述如下：214.3 最優(yōu)裝載templatevoid Loading(int x, Type w, Type c, int n) int *t = new int n+1; Sort(w, t, n); for (int i = 1; i = n; i+) xi = 0; for (int i = 1; i = n & wti =

14、c; i+) xti = 1; c -= wti;224.3 最優(yōu)裝載2 2、貪心選擇性質(zhì)、貪心選擇性質(zhì) 可以證明最優(yōu)裝載問題具有貪心選擇性質(zhì)。 3 3、最優(yōu)子結(jié)構(gòu)性質(zhì)、最優(yōu)子結(jié)構(gòu)性質(zhì) 最優(yōu)裝載問題具有最優(yōu)子結(jié)構(gòu)性質(zhì)。由最優(yōu)裝載問題的貪心選擇性質(zhì)和最優(yōu)子結(jié)構(gòu)性質(zhì)，容易證明算法loading的正確性。算法loading的主要計算量在于將集裝箱依其重量從小到大排序，故算法所需的計算時間為 O(nlogn)。 234.4 哈夫曼編碼哈夫曼編碼哈夫曼編碼是廣泛地用于數(shù)據(jù)文件壓縮的十分有效的編碼方法。其壓縮率通常在20%90%之間。哈夫曼編碼算法用字符在文件中出現(xiàn)的頻率表來建立一個用0，1串表示各字符的

15、最優(yōu)表示方式。 給出現(xiàn)頻率高的字符較短的編碼，出現(xiàn)頻率較低的字符以較長的編碼，可以大大縮短總碼長。1、前綴碼 對每一個字符規(guī)定一個0,1串作為其代碼，并要求任一字符的代碼都不是其它字符代碼的前綴。這種編碼稱為前綴碼前綴碼。244.4 哈夫曼編碼 編碼的前綴性質(zhì)可以使譯碼方法非常簡單。 表示最優(yōu)前綴碼最優(yōu)前綴碼的二叉樹總是一棵完全二叉完全二叉樹樹，即樹中任一結(jié)點都有2個兒子結(jié)點。平均碼長平均碼長定義為：使平均碼長達(dá)到最小的前綴碼編碼方案稱為給定編碼字符集C的最優(yōu)前綴碼最優(yōu)前綴碼。)()()(cdcfTBTCc 254.4 哈夫曼編碼2 2、構(gòu)造哈夫曼編碼、構(gòu)造哈夫曼編碼哈夫曼提出構(gòu)造最優(yōu)前綴碼的

16、貪心算法，由此產(chǎn)生的編碼方案稱為哈夫曼編碼哈夫曼編碼。哈夫曼算法以自底向上的方式構(gòu)造表示最優(yōu)前綴碼的二叉樹T。算法以|C|個葉結(jié)點開始，執(zhí)行|C|1次的“合并”運算后產(chǎn)生最終所要求的樹T。 264.4 哈夫曼編碼 算法huffmanTree中，編碼字符集中每一字符c的頻率是f(c)。以以f為鍵值的優(yōu)先隊列為鍵值的優(yōu)先隊列Q用在貪心選貪心選擇擇時有效地確定算法當(dāng)前要合并的2棵具有最小頻率的樹。一旦2棵具有最小頻率的樹合并后，產(chǎn)生一棵新的樹，其頻率為合并的2棵樹的頻率之和，并將新樹插入優(yōu)先隊列Q。經(jīng)過n1次的合并后，優(yōu)先隊列中只剩下一棵樹，即所要求的樹T。算法huffmanTree用最小堆實現(xiàn)優(yōu)先

17、隊列Q。初始化優(yōu)先隊列需要O(n)計算時間，由于最小堆的removeMin和put運算均需O(logn)時間，n1次的合并總共需要O(nlogn)計算時間。因此，關(guān)于n個字符的哈夫曼算法的計算時間計算時間為O(nlogn) 。274.4 哈夫曼編碼3 3、哈夫曼算法的正確性、哈夫曼算法的正確性要證明哈夫曼算法的正確性，只要證明最優(yōu)前綴碼問題具有貪心選擇性質(zhì)貪心選擇性質(zhì)和最優(yōu)子結(jié)構(gòu)最優(yōu)子結(jié)構(gòu)性質(zhì)性質(zhì)。(1)貪心選擇性質(zhì)(2)最優(yōu)子結(jié)構(gòu)性質(zhì)284.5 單源最短路徑給定帶權(quán)有向圖G =(V,E)，其中每條邊的權(quán)是非負(fù)實數(shù)。另外，還給定V中的一個頂點，稱為源源。現(xiàn)在要計算從源到所有其它各頂點的最短路長

18、度最短路長度。這里路的長度是指路上各邊權(quán)之和。這個問題通常稱為單單源最短路徑問題源最短路徑問題。1、算法基本思想Dijkstra算法是解單源最短路徑問題的貪心算法。294.5 單源最短路徑其基本思想基本思想是，設(shè)置頂點集合S并不斷地作貪心貪心選擇選擇來擴(kuò)充這個集合。一個頂點屬于集合S當(dāng)且僅當(dāng)從源到該頂點的最短路徑長度已知。初始時，S中僅含有源。設(shè)u是G的某一個頂點，把從源到u且中間只經(jīng)過S中頂點的路稱為從源到u的特殊路徑，并用數(shù)組dist記錄當(dāng)前每個頂點所對應(yīng)的最短特殊路徑長度。Dijkstra算法每次從V-S中取出具有最短特殊路長度的頂點u，將u添加到S中，同時對數(shù)組dist作必要的修改。一

19、旦S包含了所有V中頂點，dist就記錄了從源到所有其它頂點之間的最短路徑長度。304.5 單源最短路徑例如例如，對右圖中的有向圖，應(yīng)用Dijkstra算法計算從源頂點1到其它頂點間最短路徑的過程列在下頁的表中。314.5 單源最短路徑迭代迭代Sudist2dist3dist4dist5初始初始1-10maxint3010011,2210603010021,2,441050309031,2,4,331050306041,2,4,3,5510503060Dijkstra算法的迭代過程： 324.5 單源最短路徑2、算法的正確性和計算復(fù)雜性(1)貪心選擇性質(zhì)(2)最優(yōu)子結(jié)構(gòu)性質(zhì)(3)計算復(fù)雜性對于具

20、有n個頂點和e條邊的帶權(quán)有向圖，如果用帶權(quán)鄰接矩陣表示這個圖，那么Dijkstra算法的主循環(huán)體需要 時間。這個循環(huán)需要執(zhí)行n-1次，所以完成循環(huán)需要 時間。算法的其余部分所需要時間不超過 。)(nO)(2nO)(2nO334.6 最小生成樹 設(shè)G =(V,E)是無向連通帶權(quán)圖，即一個網(wǎng)絡(luò)網(wǎng)絡(luò)。E中每條邊(v,w)的權(quán)為cvw。如果G的子圖G是一棵包含G的所有頂點的樹，則稱G為G的生成樹。生成樹上各邊權(quán)的總和稱為該生成樹的耗耗費費。在G的所有生成樹中，耗費最小的生成樹稱為G的最小生成樹最小生成樹。網(wǎng)絡(luò)的最小生成樹在實際中有廣泛應(yīng)用。例例如如，在設(shè)計通信網(wǎng)絡(luò)時，用圖的頂點表示城市，用邊(v,w)

21、的權(quán)cvw表示建立城市v和城市w之間的通信線路所需的費用，則最小生成樹就給出了建立通信網(wǎng)絡(luò)的最經(jīng)濟(jì)的方案。 344.6 最小生成樹1、最小生成樹性質(zhì)最小生成樹的Prim算法算法和Kruskal算法算法都可以看作是應(yīng)用貪心算法設(shè)計策略的例子。盡管這2個算法做貪心選擇的方式不同，它們都利用了下面的最小生成樹性質(zhì)最小生成樹性質(zhì)：設(shè)G=(V,E)是連通帶權(quán)圖，U是V的真子集。如果(u,v)E，且uU，vV-U，且在所有這樣的邊中，(u,v)的權(quán)cuv最小，那么一定存在G的一棵最小生成樹，它以(u,v)為其中一條邊。這個性質(zhì)有時也稱為MST性質(zhì)性質(zhì)。 354.6 最小生成樹2 2、PrimPrim算法算

22、法 設(shè)G=(V,E)是連通帶權(quán)圖，V=1,2,n。構(gòu)造G的最小生成樹的Prim算法的基本思想基本思想是：首先置S=1，然后，只要S是V的真子集，就作如下的貪心選擇貪心選擇：選取滿足條件iS，jV-S，且cij最小的邊，將頂點j添加到S中。這個過程一直進(jìn)行到S=V時為止。在這個過程中選取到的所有邊恰好構(gòu)成G的一棵最小生成樹最小生成樹。 364.6 最小生成樹利用最小生成樹性質(zhì)和數(shù)學(xué)歸納法容易證明，上述算法中的邊集合邊集合T始終包始終包含含G的某棵最小生成樹中的的某棵最小生成樹中的邊邊。因此，在算法結(jié)束時，T中的所有邊構(gòu)成G的一棵最小生成樹。 例如例如，對于右圖中的帶權(quán)圖，按Prim算法算法選取邊

23、的過程如下頁圖所示。374.6 最小生成樹384.6 最小生成樹Prim算法中，還應(yīng)當(dāng)考慮如何有效地找出滿足條如何有效地找出滿足條件件i S,j V-S，且權(quán)，且權(quán)cij最小的邊最小的邊(i,j)。實現(xiàn)這個目的的較簡單的辦法是設(shè)置2個數(shù)組closest和lowcost。在Prim算法執(zhí)行過程中，先找出V-S中使lowcost值最小的頂點j，然后根據(jù)數(shù)組closest選取邊(j,closestj)，最后將j添加到S中，并對closest和lowcost作必要的修改。用這個辦法實現(xiàn)的Prim算法所需的計算時間計算時間為 )(2nO394.6 最小生成樹3 3、KruskalKruskal算法算法K

24、ruskal算法的基本思想基本思想： 首先將G的n個頂點看成n個孤立的連通分支。將所有的邊按權(quán)從小到大排序。然后從第一條邊開始，依邊權(quán)遞增的順序查看每一條邊，并按下述方法連接2個不同的連通分支：當(dāng)查看到第k條邊(v,w)時，如果端點v和w分別是當(dāng)前2個不同的連通分支T1和T2中的頂點時，就用邊(v,w)將T1和T2連接成一個連通分支，然后繼續(xù)查看第k+1條邊；如果端點v和w在當(dāng)前的同一個連通分支中，就直接再查看第k+1條邊。這個過程一直進(jìn)行到只剩下一個連通分支時為止。 404.6 最小生成樹例如，例如，對前面的連通帶權(quán)圖，按Kruskal算法順序得到的最小生成樹上的邊如下圖所示。414.6 最小生成樹集合的一些基本運算集合的一些基本運算可用于實現(xiàn)Kruskal算法。 按權(quán)的遞增順序查看等價于對優(yōu)先隊列優(yōu)先隊列執(zhí)行removeMin運算?？梢杂枚讯褜崿F(xiàn)這個優(yōu)先隊列。