SQL優(yōu)化相關(guān)問(wèn)題及處理方案

查詢速度慢的原因，如何優(yōu)化查詢1、沒(méi)有索引或者沒(méi)有用到索引（這是查詢慢最常見(jiàn)的問(wèn)題，是程序設(shè)計(jì)的缺陷）2、 I/O吞吐量小，形成了瓶頸效應(yīng)。3、 沒(méi)有創(chuàng)建計(jì)算列導(dǎo)致查詢不優(yōu)化。4、 內(nèi)存不足5、 網(wǎng)絡(luò)速度慢6、 查詢出的數(shù)據(jù)量過(guò)大（可以采用多次查詢，其他的方法降低數(shù)據(jù)量）7、鎖或者死鎖（這也是查詢慢最常見(jiàn)的問(wèn)題，是程序設(shè)計(jì)的缺陷）8、sp_lock,sp_who,活動(dòng)的用戶查看，原因是讀寫(xiě)競(jìng)爭(zhēng)資源。9返回了不必要的行和列10、查詢語(yǔ)句不好，沒(méi)有優(yōu)化可以通過(guò)如下方法來(lái)優(yōu)化查詢:1、 把數(shù)據(jù)、日志、索引放到不同的I/O設(shè)備上，增加讀取速度，以前可以將Tempdb應(yīng)放在RAID0上，SQL2000不在支持。數(shù)據(jù)量（尺寸）越大，提高I/O越重要.2、 縱向、橫向分割表，減少表的尺寸（sp_spaceuse）3、 升級(jí)硬件4、 根據(jù)查詢條件，建立索引，優(yōu)化索引、優(yōu)化訪問(wèn)方式，限制結(jié)果集的數(shù)據(jù)量。注意填充因子要適當(dāng)（最好是使用默認(rèn)值0）。索引應(yīng)該盡量小，使用字節(jié)數(shù)小的列建索引好（參照索引的創(chuàng)建），不要對(duì)有限的幾個(gè)值的字段建單一索引如性別字段5、 提高網(wǎng)速；6、 擴(kuò)大服務(wù)器的內(nèi)存,Windows2000和SQLserver2000能支持4-8G的內(nèi)存。配置虛擬內(nèi)存：虛擬內(nèi)存大小應(yīng)基于計(jì)算機(jī)上并發(fā)運(yùn)行的服務(wù)進(jìn)行配置。運(yùn)行MicrosoftSQLServer?2000時(shí)，可考慮將虛擬內(nèi)存大小設(shè)置為計(jì)算機(jī)中安裝的物理內(nèi)存的1.5倍。如果另外安裝了全文檢索功能，并打算運(yùn)行Microsoft搜索服務(wù)以便執(zhí)行全文索引和查詢，可考慮：將虛擬內(nèi)存大小配置為至少是計(jì)算機(jī)中安裝的物理內(nèi)存的3倍。將SQLServermaxservermemory服務(wù)器配置選項(xiàng)配置為物理內(nèi)存的1.5倍（虛擬內(nèi)存大小設(shè)置的一半）。7、 增加服務(wù)器CPU個(gè)數(shù);但是必須明白并行處理串行處理更需要資源例如內(nèi)存。使用并行還是串行程是MsSQL自動(dòng)評(píng)估選擇的。單個(gè)任務(wù)分解成多個(gè)任務(wù)，就可以在處理器上運(yùn)行。例如耽擱查詢的排序、連接、掃描和GROUPBY字句同時(shí)執(zhí)行，SQLSERVER根據(jù)系統(tǒng)的負(fù)載情況決定最優(yōu)的并行等級(jí)，復(fù)雜的需要消耗大量的CPU的查詢最適合并行處理。但是更新操作Update,Insert，Delete還不能并行處理。8、如果是使用like進(jìn)行查詢的話，簡(jiǎn)單的使用index是不行的，但是全文索引，耗空間。like\'a%\'使用索引like\'%a\'不使用索引用like\'%a%\'查詢時(shí)，查詢耗時(shí)和字段值總長(zhǎng)度成正比，所以不能用CHAR類型，而是VARCHAR。對(duì)于字段的值很長(zhǎng)的建全文索引。9、 DBServer和APPLicationServer分離；OLTP和OLAP分離10、 分布式分區(qū)視圖可用于實(shí)現(xiàn)數(shù)據(jù)庫(kù)服務(wù)器聯(lián)合體。聯(lián)合體是一組分開(kāi)管理的服務(wù)器，但它們相互協(xié)作分擔(dān)系統(tǒng)的處理負(fù)荷。這種通過(guò)分區(qū)數(shù)據(jù)形成數(shù)據(jù)庫(kù)服務(wù)器聯(lián)合體的機(jī)制能夠擴(kuò)大一組服務(wù)器，以支持大型的多層Web站點(diǎn)的處理需要。有關(guān)更多信息，參見(jiàn)設(shè)計(jì)聯(lián)合數(shù)據(jù)庫(kù)服務(wù)器。（參照SQL幫助文件、'分區(qū)視圖\'）a、在實(shí)現(xiàn)分區(qū)視圖之前，必須先水平分區(qū)表b、在創(chuàng)建成員表后，在每個(gè)成員服務(wù)器上定義一個(gè)分布式分區(qū)視圖，并且每個(gè)視圖具有相同的名稱。這樣，引用分布式分區(qū)視圖名的查詢可以在任何一個(gè)成員服務(wù)器上運(yùn)行。系統(tǒng)操作如同每個(gè)成員服務(wù)器上都有一個(gè)原始表的復(fù)本一樣，但其實(shí)每個(gè)服務(wù)器上只有一個(gè)成員表和一個(gè)分布式分區(qū)視圖。數(shù)據(jù)的位置對(duì)應(yīng)用程序是透明的。11、 重建索引DBCCREINDEX,DBCCINDEXDEFRAG，收縮數(shù)據(jù)和日志DBCCSHRINKDB,DBCCSHRINKFILE.設(shè)置自動(dòng)收縮日志.對(duì)于大的數(shù)據(jù)庫(kù)不要設(shè)置數(shù)據(jù)庫(kù)自動(dòng)增長(zhǎng)，它會(huì)降低服務(wù)器的性能。在T-sql的寫(xiě)法上有很大的講究，下面列出常見(jiàn)的要點(diǎn)：首先，DBMS處理查詢計(jì)劃的過(guò)程是這樣的：1、查詢語(yǔ)句的詞法、語(yǔ)法檢查2、將語(yǔ)句提交給DBMS的查詢優(yōu)化器3、優(yōu)化器做代數(shù)優(yōu)化和存取路徑的優(yōu)化4、由預(yù)編譯模塊生成查詢規(guī)劃5、然后在合適的時(shí)間提交給系統(tǒng)處理執(zhí)行6、最后將執(zhí)行結(jié)果返回給用戶其次，看一下SQLSERVER的數(shù)據(jù)存放的結(jié)構(gòu)：一個(gè)頁(yè)面的大小為8K(8060)字節(jié)，8個(gè)頁(yè)面為一個(gè)盤(pán)區(qū)，按照B樹(shù)存放。12、 Commit和rollback的區(qū)別Rollback:回滾所有的事物。Commit:提交當(dāng)前的事物.沒(méi)有必要在動(dòng)態(tài)SQL里寫(xiě)事物，如果要寫(xiě)請(qǐng)寫(xiě)在外面如：begintranexec(@s)committrans或者將動(dòng)態(tài)SQL寫(xiě)成函數(shù)或者存儲(chǔ)過(guò)程。13、 在查詢Select語(yǔ)句中用Where字句限制返回的行數(shù)，避免表掃描，如果返回不必要的數(shù)據(jù)，浪費(fèi)了服務(wù)器的I/O資源，加重了網(wǎng)絡(luò)的負(fù)擔(dān)降低性能。如果表很大，在表掃描的期間將表鎖住，禁止其他的聯(lián)接訪問(wèn)表，后果嚴(yán)重。14、 SQL的注釋中明對(duì)執(zhí)行沒(méi)有任何影響15、 盡可能不使用光標(biāo)，它占用大量的資源。如果需要row-by-row地執(zhí)行，盡量采用非光標(biāo)技術(shù)，如：在客戶端循環(huán)，用臨時(shí)表，Table變量，用子查詢，用Case語(yǔ)句等等。游標(biāo)可以按照它所支持的提取選項(xiàng)進(jìn)行分類：只進(jìn)必須按照從第一行到最后一行的順序提取行。FETCHNEXT是唯一允許的提取操作,也是默認(rèn)方式?？蓾L動(dòng)性可以在游標(biāo)中任何地方隨機(jī)提取任意行。游標(biāo)的技術(shù)在SQL2000下變得功能很強(qiáng)大，他的日的是支持循環(huán)。有四個(gè)并發(fā)選項(xiàng)READ_ONLY:不允許通過(guò)游標(biāo)定位更新(Update)，且在組成結(jié)果集的行中沒(méi)有鎖。OPTIMISTICWITHvalueS:樂(lè)觀并發(fā)控制是事務(wù)控制理論的一個(gè)標(biāo)準(zhǔn)部分。樂(lè)觀并發(fā)控制用于這樣的情形，即在打開(kāi)游標(biāo)及更新行的間隔中，只有很小的機(jī)會(huì)讓第二個(gè)用戶更新某一行。當(dāng)某個(gè)游標(biāo)以此選項(xiàng)打開(kāi)時(shí)，沒(méi)有鎖控制其中的行，這將有助于最大化其處理能力。如果用戶試圖修改某一行，則此行的當(dāng)前值會(huì)與最后一次提取此行時(shí)獲取的值進(jìn)行比較。如果任何值發(fā)生改變，則服務(wù)器就會(huì)知道其他人已更新了此行，并會(huì)返回一個(gè)錯(cuò)誤。如果值是一樣的，服務(wù)器就執(zhí)行修改。選擇這個(gè)并發(fā)選項(xiàng)OPTIMISTICWITHROWVERSIONING:此樂(lè)觀并發(fā)控制選項(xiàng)基于行版本控制。使用行版本控制，其中的表必須具有某種版本標(biāo)識(shí)符，服務(wù)器可用它來(lái)確定該行在讀入游標(biāo)后是否有所更改。在SQLServer中，這個(gè)性能由timestamp數(shù)據(jù)類型提供，它是一個(gè)二進(jìn)制數(shù)字，表示數(shù)據(jù)庫(kù)中更改的相對(duì)順序。每個(gè)數(shù)據(jù)庫(kù)都有一個(gè)全局當(dāng)前時(shí)間戳值：@@DBTS。每次以任何方式更改帶有timestamp列的行時(shí)，SQLServer先在時(shí)間戳列中存儲(chǔ)當(dāng)前的@@DBTS值，然后增加@@DBTS的值。如果某個(gè)表具有timestamp歹U，則時(shí)間戳?xí)挥浀叫屑?jí)。服務(wù)器就可以比較某行的當(dāng)前時(shí)間戳值和上次提取時(shí)所存儲(chǔ)的時(shí)間戳值，從而確定該行是否已更新。服務(wù)器不必比較所有列的值，只需比較timestamp列即可。如果應(yīng)用程序?qū)](méi)有timestamp列的表要求基于行版本控制的樂(lè)觀并發(fā)，則游標(biāo)默認(rèn)為基于數(shù)值的樂(lè)觀并發(fā)控制。SCROLLLOCKS這個(gè)選項(xiàng)實(shí)現(xiàn)悲觀并發(fā)控制。在悲觀并發(fā)控制中，在把數(shù)據(jù)庫(kù)的行讀入游標(biāo)結(jié)果集時(shí)，應(yīng)用程序?qū)⒃噲D鎖定數(shù)據(jù)庫(kù)行。在使用服務(wù)器游標(biāo)時(shí)，將行讀入游標(biāo)時(shí)會(huì)在其上放置一個(gè)更新鎖。如果在事務(wù)內(nèi)打開(kāi)游標(biāo)，則該事務(wù)更新鎖將一直保持到事務(wù)被提交或回滾；當(dāng)提取下一行時(shí)，將除去游標(biāo)鎖。如果在事務(wù)外打開(kāi)游標(biāo)，則提取下一行時(shí)，鎖就被丟棄。因此，每當(dāng)用戶需要完全的悲觀并發(fā)控制時(shí)，游標(biāo)都應(yīng)在事務(wù)內(nèi)打開(kāi)。更新鎖將阻止任何其它任務(wù)獲取更新鎖或排它鎖，從而阻止其它任務(wù)更新該行。然而，更新鎖并不阻止共享鎖，所以它不會(huì)阻止其它任務(wù)讀取行，除非第二個(gè)任務(wù)也在要求帶更新鎖的讀取。滾動(dòng)鎖根據(jù)在游標(biāo)定義的Select語(yǔ)句中指定的鎖提示，這些游標(biāo)并發(fā)選項(xiàng)可以生成滾動(dòng)鎖。滾動(dòng)鎖在提取時(shí)在每行上獲取，并保持到下次提取或者游標(biāo)關(guān)閉，以先發(fā)生者為準(zhǔn)。下次提取時(shí)，服務(wù)器為新提取中的行獲取滾動(dòng)鎖，并釋放上次提取中行的滾動(dòng)鎖。滾動(dòng)鎖獨(dú)立于事務(wù)鎖，并可以保持到一個(gè)提交或回滾操作之后。如果提交時(shí)關(guān)閉游標(biāo)的選項(xiàng)為關(guān)，則COMMIT語(yǔ)句并不關(guān)閉任何打開(kāi)的游標(biāo)，而且滾動(dòng)鎖被保留到提交之后，以維護(hù)對(duì)所提取數(shù)據(jù)的隔離。所獲取滾動(dòng)鎖的類型取決于游標(biāo)并發(fā)選項(xiàng)和游標(biāo)Select語(yǔ)句中的鎖提示。鎖提示只讀樂(lè)觀數(shù)值樂(lè)觀行版本控制鎖定無(wú)提示未鎖定未鎖定未鎖定更新NOLOCK未鎖定未鎖定未鎖定未鎖定HOLDLOCK共享共享共享更新UPDLOCK錯(cuò)誤更新更新更新TABLOCKX錯(cuò)誤未鎖定未鎖定更新其它未鎖定未鎖定未鎖定更新*指定NOLOCK提示將使指定了該提示的表在游標(biāo)內(nèi)是只讀的。16、 用Profiler來(lái)跟蹤查詢，得到查詢所需的時(shí)間，找出SQL的問(wèn)題所在;用索引優(yōu)化器優(yōu)化索引17、 注意UNion和UNionall的區(qū)別。UNIONall好18、 注意使用DISTINCT，在沒(méi)有必要時(shí)不要用，它同UNION一樣會(huì)使查詢變慢。重復(fù)的記錄在查詢里是沒(méi)有問(wèn)題的19、 查詢時(shí)不要返回不需要的行、列20、 用sp_configure\'querygovernorcostlimit\'或者SETQUERY_GOVERNOR_COST_LIMIT來(lái)限制查詢消耗的資源。當(dāng)評(píng)估查詢消耗的資源超出限制時(shí)，服務(wù)器自動(dòng)取消查詢,在查詢之前就扼殺掉。SETLOCKTIME設(shè)置鎖的時(shí)間21、 用selecttop100/10Percent來(lái)限制用戶返回的行數(shù)或者SETROWCOUNT來(lái)限制操作的行22、 在SQL2000以前，一般不要用如下的字句：\"ISNULL\",\"<>\",\"!=\",\"!>\",\"!<\",\"NOT\",\"NOTEXISTS\",\"NOTIN\",\"NOTLIKE\",And\"LIKE\'%500\'\"，因?yàn)樗麄儾蛔咚饕潜頀呙?。也不要在Where字句中的列名加函數(shù)，如Convert,substring等，如果必須用函數(shù)的時(shí)候，創(chuàng)建計(jì)算列再創(chuàng)建索引來(lái)替代.還可以變通寫(xiě)法：WhereSUBSTRING(firstname,1,1)=\'m\'改為Wherefirstnamelike\'m%\'(索引掃描)，一定要將函數(shù)和列名分開(kāi)。并且索引不能建得太多和太大。NOTIN會(huì)多次掃描表，使用EXISTS、NOTEXISTS，IN,LEFTOUTERJOIN來(lái)替代，特別是左連接，而Exists比IN更快，最慢的是NOT操作.如果列的值含有空，以前它的索引不起作用，現(xiàn)在2000的優(yōu)化器能夠處理了。相同的是ISNULL，\"NOT\",\"NOTEXISTS\",\"NOTIN\"能優(yōu)化她，而、"<>\"等還是不能優(yōu)化，用不到索引。23、 使用QueryAnalyzer，查看SQL語(yǔ)句的查詢計(jì)劃和評(píng)估分析是否是優(yōu)化的SQL。一般的20%的代碼占據(jù)了80%的資源，我們優(yōu)化的重點(diǎn)是這些慢的地方。24、 如果使用了IN或者OR等時(shí)發(fā)現(xiàn)查詢沒(méi)有走索引，使用顯示中明指定索引：Select*FROMPersonMember(INDEX=IX_Title)WhereprocessidIN(\'男\(zhòng)'，、'女\')25、 將需要查詢的結(jié)果預(yù)先計(jì)算好放在表中，查詢的時(shí)候再Select。這在SQL7.0以前是最重要的手段。例如醫(yī)院的住院費(fèi)計(jì)算。26、MIN()和MAX()能使用到合適的索引。27、 數(shù)據(jù)庫(kù)有一個(gè)原則是代碼離數(shù)據(jù)越近越好，所以優(yōu)先選擇Default，依次為Rules,Triggers,Constraint（約束如外健主健CheckUNIQUE……，數(shù)據(jù)類型的最大長(zhǎng)度等等都是約束）,Procedure.這樣不僅維護(hù)工作小，編寫(xiě)程序質(zhì)量高，并且執(zhí)行的速度快。28、 如果要插入大的二進(jìn)制值到Image列，使用存儲(chǔ)過(guò)程，千萬(wàn)不要用內(nèi)嵌Insert來(lái)插入（不知JAVA是否）。因?yàn)檫@樣應(yīng)用程序首先將二進(jìn)制值轉(zhuǎn)換成字符串（尺寸是它的兩倍），服務(wù)器受到字符后又將他轉(zhuǎn)換成二進(jìn)制值.存儲(chǔ)過(guò)程就沒(méi)有這些動(dòng)作：方法：Createprocedurep_insertasinsertintotable（Fimage）values（@image）,在前臺(tái)調(diào)用這個(gè)存儲(chǔ)過(guò)程傳入二進(jìn)制參數(shù)，這樣處理速度明顯改善。29、 Between在某些時(shí)候比IN速度更快,Between能夠更快地根據(jù)索引找到范圍。用查詢優(yōu)化器可見(jiàn)到差別。select*fromchineseresumewheretitlein（\'男、',\'女\'）Select*fromchineseresumewherebetween、'男\(zhòng)'And、'女\'是一樣的。由于in會(huì)在比較多次，所以有時(shí)會(huì)慢些。30、 在必要是對(duì)全局或者局部臨時(shí)表創(chuàng)建索引，有時(shí)能夠提高速度，但不是一定會(huì)這樣，因?yàn)樗饕埠馁M(fèi)大量的資源。他的創(chuàng)建同是實(shí)際表一樣。31、不要建沒(méi)有作用的事物例如產(chǎn)生報(bào)表時(shí)，浪費(fèi)資源。只有在必要使用事物時(shí)使用它。32、 用OR的字句可以分解成多個(gè)查詢，并且通過(guò)UNION連接多個(gè)查詢。他們的速度只同是否使用索引有關(guān)，如果查詢需要用到聯(lián)合索引，用UNIONall執(zhí)行的效率更高.多個(gè)OR的字句沒(méi)有用到索引，改寫(xiě)成UNION的形式再試圖與索引匹配。一個(gè)關(guān)鍵的問(wèn)題是否用到索引。33、 盡量少用視圖，它的效率低。對(duì)視圖操作比直接對(duì)表操作慢，可以用storedprocedure來(lái)代替她。特別的是不要用視圖嵌套,嵌套視圖增加了尋找原始資料的難度。我們看視圖的本質(zhì)：它是存放在服務(wù)器上的被優(yōu)化好了的已經(jīng)產(chǎn)生了查詢規(guī)劃的SQL。對(duì)單個(gè)表檢索數(shù)據(jù)時(shí)，不要使用指向多個(gè)表的視圖，直接從表檢索或者僅僅包含這個(gè)表的視圖上讀，否則增加了不必要的開(kāi)銷,查詢受到干擾,為了加快視圖的查詢，MsSQL增加了視圖索引的功能。34、 沒(méi)有必要時(shí)不要用DISTINCT和ORDERBY，這些動(dòng)作可以改在客戶端執(zhí)行。它們?cè)黾恿祟~外的開(kāi)銷。這同UNION和UNIONALL一樣的道理。 selecttop20panyname,comid,position,ad.referenceid,worklocation,convert(varchar(10),ad.postDate,120)aspostDate1,workyear,degreedeionFROMjobcn_query.dbo.COMPANYAD_queryadwherereferenceIDin(\'JCNAD00329667\',\'JCNAD132168\',\'JCNAD00337748\',\'JCNAD00338345\', \'JCNAD00333138\',\'JCNAD00303570\',\'JCNAD00303569\',\'JCNAD00303568\,,\,JCNAD00306698\,,\,JCNAD00231935\,,\,JCNAD00231933\',\,JCNAD00254567\,,\,JCNAD00254585\,,\,JCNAD00254608\,, \JCNAD00254607\,,\,JCNAD00258524\,,\,JCNAD00332133\,,\,JCNAD00268618\,,\JCNAD00279196\,,\,JCNAD00268613\,）orderbypostdatedesc35、在IN后面值的列表中，將出現(xiàn)最頻繁的值放在最前面，出現(xiàn)得最少的放在最后面，減少判斷的次數(shù)。36、 當(dāng)用SelectINTO時(shí)，它會(huì)鎖住系統(tǒng)表（sysobjects，sysindexes等等），阻塞其他的連接的存取。創(chuàng)建臨時(shí)表時(shí)用顯示中明語(yǔ)句，而不是selectINTO.droptablet_lxhbegintranselect*intot_lxhfromchineseresumewherename=\,XYZ\,--commit在另一個(gè)連接中Select*fromsysobjects可以看到SelectINTO會(huì)鎖住系統(tǒng)表，Createtable也會(huì)鎖系統(tǒng)表（不管是臨時(shí)表還是系統(tǒng)表）。所以千萬(wàn)不要在事物內(nèi)使用它?。。∵@樣的話如果是經(jīng)常要用的臨時(shí)表請(qǐng)使用實(shí)表，或者臨時(shí)表變量。37、 一般在GROUPBY個(gè)HAVING字句之前就能剔除多余的行，所以盡量不要用它們來(lái)做剔除行的工作。他們的執(zhí)行順序應(yīng)該如下最優(yōu)：select的Where字句選擇所有合適的行，GroupBy用來(lái)分組個(gè)統(tǒng)計(jì)行，Having字句用來(lái)剔除多余的分組。這樣GroupBy個(gè)Having的開(kāi)銷小，查詢快.對(duì)于大的數(shù)據(jù)行進(jìn)行分組和Having十分消耗資源。如果GroupBY的日的不包括計(jì)算，只是分組，那么用Distinct更快38、 一次更新多條記錄比分多次更新每次一條快，就是說(shuō)批處理好39、 少用臨時(shí)表，盡量用結(jié)果集和Table類性的變量來(lái)代替它,Table類型的變量比臨時(shí)表好40、 在SQL2000下，計(jì)算字段是可以索引的，需要滿足的條件如下： a、計(jì)算字段的表達(dá)是確定的 b、不能用在TEXT,Ntext，Image數(shù)據(jù)類型 c、必須配制如下選項(xiàng)ANSI_NULLS=ON,