GIS系統(tǒng)性能優(yōu)化策略

1、GIS系統(tǒng)性能優(yōu)化策略行業(yè)技術(shù)部 劉春影通常，我們會(huì)遇到這些性能問題？針對(duì)GIS系統(tǒng)：現(xiàn)有設(shè)施能夠支持多少并發(fā)響應(yīng)時(shí)間小于1秒時(shí)，需要何種硬件配置系統(tǒng)剛上線時(shí)速度較快，一段時(shí)間后訪問較慢針對(duì)GIS Server：和某GIS Server PK時(shí)，響應(yīng)時(shí)間不盡如人意一個(gè)Site站點(diǎn)，發(fā)布多少個(gè)服務(wù)才合理一個(gè)服務(wù)配置多少個(gè)實(shí)例數(shù)才合適其實(shí)，性能伴隨系統(tǒng)的整個(gè)生命周期需求階段：了解數(shù)據(jù)情況、用戶情況設(shè)計(jì)階段：服務(wù)設(shè)計(jì)、架構(gòu)設(shè)計(jì)、硬件選型、容量規(guī)劃開發(fā)階段：單元測(cè)試、代碼優(yōu)化部署階段：測(cè)試及監(jiān)控 性能術(shù)語 案例分享 軟件性能 平臺(tái)性能內(nèi)容介紹性能術(shù)語性能和伸縮性 伸縮性：負(fù)載增加時(shí)，系統(tǒng)維持現(xiàn)有性能的

2、能力 性能：“點(diǎn)擊”以后，多久能看到顯示結(jié)果衡量性能的關(guān)鍵指標(biāo) 響應(yīng)時(shí)間（Response time）：發(fā)送一次請(qǐng)求到接收請(qǐng)求這一過程所用的時(shí)間 吞吐量（throughput）：一定時(shí)間內(nèi)處理的所有請(qǐng)求的數(shù)量，由系統(tǒng)響應(yīng)時(shí)間和用戶思考時(shí)間共同衡量的關(guān)鍵影響因素：GIS Server處理能力磁盤I/O網(wǎng)絡(luò)帶寬性能術(shù)語事務(wù)：是用來渲染一個(gè)新的用戶顯示的處理過程，如執(zhí)行一次地圖預(yù)覽系統(tǒng)容量：特定的硬件配置所能支持的最大吞吐量系統(tǒng)利用率：當(dāng)前的吞吐量和系統(tǒng)容量的比率負(fù)載步長：每次增加多少虛擬用戶數(shù)服務(wù)時(shí)間：是平均工作事務(wù)處理時(shí)間（衡量軟件性能的關(guān)鍵標(biāo)準(zhǔn)）案例分享典型的GIS系統(tǒng)架構(gòu)案例性能問題：1.系

3、統(tǒng)加載慢2.執(zhí)行操作響應(yīng)時(shí)間慢圖層數(shù)：1個(gè)點(diǎn)圖層、5個(gè)面圖層；要素?cái)?shù)：幾千個(gè)要素符號(hào)：字體符號(hào)開發(fā)框架：FlexViewer框架，各種swf文件約幾十K幾百KGIS Server：10.0（服務(wù)發(fā)布過多）硬件資源：資源不足導(dǎo)致性能下降（內(nèi)存使用高達(dá)89%、存儲(chǔ)超過90%）App Server：Web容器內(nèi)存較低問題分析容量規(guī)劃問題數(shù)據(jù)組織問題代碼組織問題網(wǎng)絡(luò)帶寬：我們通常所說帶寬的單位是兆比特，而不是兆字節(jié)比如， 10Mbit帶寬，是 10Mbit （比特），而不是10MB （字節(jié)）而1MB=8 * 1Mbit所以，10Mbit /s = 1.25MB /s=1.25*1024KB /s=12

4、80KB/s假設(shè)有200人使用，最大和最小傳輸速率分別為：Max = 1280KB/sMin = 1280KB/s / 200 = 6.4KB/s通常，假設(shè)有10%的人同時(shí)使用網(wǎng)絡(luò)，即只有20人，那么速率為：速率 = 1280KB/s/20 = 64KB/s那么下載上頁的index.swf文件的時(shí)間為：500KB/ 64KB/s = 7.8秒問題分析底圖加載：問題分析屏幕分辨率為 ：1680*1050 = 1764000圖片大小： 256* 256 =65536加載圖片數(shù)：27個(gè)單個(gè)圖片大小約：15KB總圖片大小為約：405KB下載時(shí)間約：405KB/64KB/S=6.3秒服務(wù)配置：優(yōu)化過程配

5、置：每個(gè)site站點(diǎn)發(fā)布的服務(wù)數(shù)量少實(shí)例：默認(rèn)啟動(dòng)實(shí)例資源：主機(jī)配置高響應(yīng)：更快的響應(yīng)時(shí)間Server 10.0私有云環(huán)境優(yōu)化過程數(shù)據(jù)組織：數(shù)據(jù)平滑處理、刪除不必要的屬性、建立索引等服務(wù)優(yōu)化：減少復(fù)雜的制圖表達(dá)效果、減少動(dòng)態(tài)標(biāo)注的使用拆分圖層：避免大量圖層同時(shí)展現(xiàn)符號(hào)：使用簡單符號(hào)顯示控制：不要同時(shí)加載全部圖層代碼優(yōu)化：代碼精簡、前端顯示圖片壓縮軟件性能軟件性能影響因素地圖文檔調(diào)整工作流基準(zhǔn)顯示復(fù)雜性數(shù)據(jù)密度數(shù)據(jù)緩存輸出格式服務(wù)配置服務(wù)組織，數(shù)據(jù)密度 高復(fù)雜地圖文檔36個(gè)圖層（點(diǎn)、線、面）每個(gè)圖層有幾千-幾萬要素全部顯示PostgreSQL 預(yù)覽顯示時(shí)間為10秒 低復(fù)雜地圖文檔2個(gè)圖層（線、面

6、）每個(gè)圖層有幾十個(gè)要素全部顯示fileGDB數(shù)據(jù)庫 預(yù)覽顯示時(shí)間為0.21秒服務(wù)組織，輸出格式對(duì)于柵格數(shù)據(jù)，JPEG壓縮方式性能更優(yōu)對(duì)于矢量數(shù)據(jù)，PNG壓縮方式性能更優(yōu)34.2PNGBMPJPGPNG32gif響應(yīng)時(shí)間響應(yīng)時(shí)間服務(wù)組織，利用緩存動(dòng)態(tài)+緩存圖層(展示由可操作的渲染圖層與切片的底圖疊加形成)可操作圖層來自于動(dòng)態(tài)數(shù)據(jù)源緩存的底圖可以來自于ArcGIS Online刪除地圖文檔中引用的其他服務(wù)服務(wù)組織，重視消息Analyze： 解決錯(cuò)誤 處理警告（會(huì)影響地圖繪制和顯示性能） 重視消息：潛在性能問題 具備Ar

7、cGIS 10.1 for Server的新特性 以64位本地應(yīng)用程序的形式運(yùn)行，軟件性能得到大的提升 減少單點(diǎn)故障，自動(dòng)配置管理，提升了處理故障恢復(fù)，使得架構(gòu)更加的健壯 可以通過具有管理權(quán)限的REST admin API進(jìn)行管理編輯 采用自適應(yīng)網(wǎng)站配置管理，專門服務(wù)彈性云部署 全新的Java軟件組件體系結(jié)構(gòu)，Linux環(huán)境支持更加友好服務(wù)配置，ArcGIS 10.2 for Server新特性 新特性 增加site站點(diǎn)導(dǎo)出備份功能 強(qiáng)制處理警告消息服務(wù)配置，ArcGIS 10.2 for Server新特性服務(wù)配置：進(jìn)程設(shè)置高隔離：8 Instances8個(gè)SOC.exe進(jìn)程低隔離：8 In

8、stances2個(gè)SOC.exe進(jìn)程進(jìn)程設(shè)置響應(yīng)時(shí)間吞吐事務(wù)數(shù)每秒點(diǎn)擊數(shù)高隔離1.50146388122727.1低隔離1.79140964121425.9低隔離：可以有效改善服務(wù)器內(nèi)存使用情況進(jìn)程崩潰時(shí)，銷毀運(yùn)行其中的所有實(shí)例高隔離： 進(jìn)程失敗時(shí)，只會(huì)影響一個(gè)instance響應(yīng)時(shí)間短、吞吐量高實(shí)際選擇哪種方式視需求而定服務(wù)配置，實(shí)例設(shè)置每臺(tái)GIS Server：當(dāng)服務(wù)啟動(dòng)時(shí)，默認(rèn)啟動(dòng)最小實(shí)例數(shù)啟動(dòng)另外的實(shí)例，當(dāng)：現(xiàn)有實(shí)例都處于busy狀態(tài)啟動(dòng)的實(shí)例總數(shù)不會(huì)超過最大實(shí)例數(shù)運(yùn)行中的實(shí)例：只占用內(nèi)存，不占用CPU使用中的實(shí)例：即占用內(nèi)存，又占用CPU服務(wù)配置，實(shí)例設(shè)置偶爾使用：服務(wù)不經(jīng)常用到少數(shù)

9、人在短時(shí)間內(nèi)使用Min/Max值設(shè)置為0/1空閑實(shí)例運(yùn)行時(shí)間依業(yè)務(wù)需求設(shè)置經(jīng)常使用：-每天都進(jìn)行服務(wù)請(qǐng)求-Min/Max設(shè)置為相等-配置足夠的實(shí)例數(shù)才能達(dá)到峰值吞吐-服務(wù)實(shí)例配置過多會(huì)增加響應(yīng)時(shí)間注意事項(xiàng)：-對(duì)于復(fù)雜的地理處理服務(wù)，最大實(shí)例數(shù)設(shè)置小一些（以保護(hù)site站點(diǎn)資源）-在峰值吞吐期間，避免頻繁免的啟動(dòng)和停止ArcSOC進(jìn)程服務(wù)配置，實(shí)例設(shè)置示例介紹：集群：ServerA+ServerB配置：4core/8RAM請(qǐng)求：Export地圖并發(fā)用戶數(shù)：10個(gè)運(yùn)行時(shí)間：5分鐘實(shí)例數(shù)：從232個(gè)020000400006000080000100000120000140000246810121416

10、32吞吐01234567246810 12 14 16 32響應(yīng)時(shí)間最佳實(shí)例數(shù)：8 Instances站點(diǎn)監(jiān)控：站點(diǎn)資源使用情況服務(wù)監(jiān)控：服務(wù)事務(wù)處理量及使用時(shí)間服務(wù)配置，性能監(jiān)控System Test簡介System Test：產(chǎn)品定位安裝配置產(chǎn)品使用System Test（系統(tǒng)測(cè)試工具）信息：ServerA+ServerBArcGIS 10.1 for ServerCentOS62CPU+4G內(nèi)存存儲(chǔ)盤陣演示演示0.00010.00020.00030.00040.00050.00060.00070.00080.00090.00041424Transactions/Sec Vs. Step

11、LoadTransactions/SecTrendLine數(shù)據(jù)源【fileGDB、SDE、數(shù)據(jù)存儲(chǔ)位置】數(shù)據(jù)組織【地圖文檔配置】部署方案【集群、單機(jī)】服務(wù)配置【instance數(shù)、停止其他不使用的服務(wù)】硬件環(huán)境調(diào)整【計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、虛擬化環(huán)境等】測(cè)試工具選擇【壓力測(cè)試工具】腳本編輯【參數(shù)調(diào)整】測(cè)試結(jié)果分析【迭代測(cè)試】服務(wù)配置，測(cè)試注意事項(xiàng)以往經(jīng)驗(yàn)得知，在軟件方案選擇方面一定要慎重，充分理解了軟件性能可以減少實(shí)施過程中的風(fēng)險(xiǎn)，并減低總體成本，節(jié)省用戶時(shí)間和金錢。如果服務(wù)創(chuàng)建時(shí)間過長，可以進(jìn)行池化處理，把服務(wù)對(duì)象裝載到內(nèi)存中如果服務(wù)等待時(shí)間過長或超時(shí)，可以設(shè)置最大等待時(shí)間，或增加服務(wù)對(duì)象個(gè)數(shù)如果

12、服務(wù)使用時(shí)間太長，需要檢查應(yīng)用程序代碼是否正確，或者客戶端操作過于復(fù)雜查看ArcGIS Server日志，進(jìn)行相應(yīng)處理，以提高性能如果資源允許，盡量選擇池化，增加客戶端并發(fā)數(shù)軟件傳輸負(fù)載及性能調(diào)整都是從多次測(cè)試中得到的結(jié)論小結(jié)平臺(tái)性能l 部署方式l 硬件環(huán)境l 虛擬化平臺(tái)組件系統(tǒng)總體性能取決于平臺(tái)各組件之間的關(guān)系部署方式Web系統(tǒng)架構(gòu)設(shè)計(jì)分組有單層、雙層、三層配置簡單的配置更容易維護(hù)和支持復(fù)雜的配置能滿足高容量和系統(tǒng)可用性需求部署方式單機(jī)部署-所有Web軟件組件部署在同一平臺(tái)層 簡單系統(tǒng)開發(fā) 原型測(cè)試 初始化部署模式GIS Serverhttp:6080Server dirctory &

13、; Config-StoreArcGIS Server SiteWeb ServerWeb AdaptorDatabase部署方式 多機(jī)部署 Web Server單獨(dú)托管在平臺(tái)層 數(shù)據(jù)庫組件部署在另一個(gè)單獨(dú)的平臺(tái) GIS Server單獨(dú)部署GIS Server http:6080Server dirctory & Config-StoreServer SiteWeb ServerWeb AdaptorGIS Server Ahttp:60804000-4007DatabaseDMZ內(nèi)網(wǎng)Reverse Proxy部署方式GIS Server http:6080Server dircto

14、ry Config-StoreServer SiteWeb ServerWeb AdaptorGIS Server Ahttp:60804000-4004+Web ServerWeb AdaptorDatabase 高可用性部署 Web Server單獨(dú)托管在平臺(tái)層 數(shù)據(jù)庫組件部署在另一個(gè)單獨(dú)的平臺(tái) GIS Server單獨(dú)部署NLB虛擬化環(huán)境部署Vblock：是Cisco、EMC、Vmware聯(lián)盟發(fā)布的新一代數(shù)據(jù)中心虛擬化解決方案打包產(chǎn)品特點(diǎn)：統(tǒng)一計(jì)算、統(tǒng)一存儲(chǔ)、虛擬化虛擬化部署優(yōu)勢(shì)提高物理主機(jī)的資源使用率，降低總成本(能源消耗、維護(hù)等)利用虛擬化技術(shù)提供的HA和FT，減少宕機(jī)時(shí)間并快速恢復(fù)

15、、遷移、備份虛擬機(jī)Esri為在虛擬化環(huán)境中使用ArcGIS軟件出現(xiàn)的任何問題提供技術(shù)支持，前提必須是使用官方支持的操作系統(tǒng)，因?yàn)檫@些已經(jīng)經(jīng)過Esri和這些廠商之間的嚴(yán)格測(cè)試，尤其是VCE Vblock環(huán)境的測(cè)試，有相應(yīng)的質(zhì)量保證便于從測(cè)試開發(fā)環(huán)境到生產(chǎn)環(huán)境之間的遷移，加速開發(fā)部署的過程據(jù)美國Esri調(diào)查統(tǒng)計(jì)目前只有不到4%的用戶決定不將ArcGIS軟件部署在虛擬化環(huán)境，超過一半的用戶已經(jīng)或者計(jì)劃實(shí)施虛擬化。一臺(tái)物理機(jī)做虛擬化之后，期間運(yùn)行的虛擬機(jī)占用的總體資源要低于系統(tǒng)總資源的85%對(duì)不同的場景需求規(guī)劃不同配置的物理硬件資源，例如主頻較高的CPU主機(jī)可用于切圖、GP等服務(wù)的托管通常為1個(gè)CPU

16、配置2GB內(nèi)存，虛擬化環(huán)境中基本規(guī)則也一樣，具體可以根據(jù)特定的數(shù)據(jù)和服務(wù)通過測(cè)試決定最終參數(shù)可以在一個(gè)站點(diǎn)上發(fā)布多個(gè)服務(wù)，站點(diǎn)擴(kuò)展節(jié)點(diǎn)時(shí)需要在新的節(jié)點(diǎn)上池化所有這些的實(shí)例，可能導(dǎo)致添加新機(jī)器節(jié)點(diǎn)時(shí)間過長不要?jiǎng)討B(tài)改變DNS或者h(yuǎn)ostname虛擬化部署注意事項(xiàng)配置4個(gè)2核的VM，還是配置2個(gè)4核的VM，根據(jù)實(shí)際處理需求設(shè)定磁盤必須有RAID5或RAID10的支持，一般常規(guī)的SAN都可以用于支持不要在單塊物理磁盤上運(yùn)行多個(gè)虛擬機(jī)虛擬化環(huán)境支持HA和FT方案確保一個(gè)站點(diǎn)中的所有節(jié)點(diǎn)虛機(jī)都在同一個(gè)網(wǎng)絡(luò)配置中，尤其是網(wǎng)絡(luò)被虛擬化之后尤其需要注意，存在NAT網(wǎng)絡(luò)設(shè)置的情況下尤其如此虛擬化部署注意事項(xiàng)硬件環(huán)

17、境 SPEC：標(biāo)準(zhǔn)性能評(píng)估機(jī)構(gòu)（standard performance evaluation corporation）官網(wǎng)：/spec/ESRI軟件支持Intel Linux和windows部署提高了峰值吞吐能力，降低了軟件許可成本SPEC基準(zhǔn)用于核心處理器的速度硬件環(huán)境內(nèi)存，就像水，平常感覺不到多重要，關(guān)鍵時(shí)候才會(huì)發(fā)現(xiàn)它的價(jià)值沒有足夠的內(nèi)存，應(yīng)用程序會(huì)變慢沒有足夠的交換空間，應(yīng)用就不能啟動(dòng)物理內(nèi)存不足時(shí)，程序會(huì)崩潰太多服務(wù)部署在同一臺(tái)服務(wù)器情況下，負(fù)載超過了最佳性能和可用內(nèi)存的限制應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器也需要配置合理內(nèi)存硬件環(huán)境存儲(chǔ)：磁盤是計(jì)算機(jī)存留下

18、來的最后的機(jī)械設(shè)備之一磁盤存取是一個(gè)機(jī)械過程，是計(jì)算機(jī)上最慢的操作當(dāng)采用緩存技術(shù)實(shí)施GIS時(shí)，要求更高的磁盤訪問要求虛擬化部署時(shí)，（本地磁盤+磁盤陣列）要做Raid影像數(shù)據(jù)存儲(chǔ)，要做容量規(guī)劃，分析現(xiàn)有數(shù)據(jù)資源、數(shù)據(jù)增長趨勢(shì)等硬件環(huán)境網(wǎng)絡(luò)延遲：每個(gè)單一通訊數(shù)據(jù)包的往返時(shí)間許多應(yīng)用程序需要幾個(gè)連續(xù)的往返傳輸?shù)椒?wù)器并返回以完成顯示事務(wù)。每個(gè)往返就是一個(gè)會(huì)話，并且大多數(shù)應(yīng)用程序都需要幾個(gè)連續(xù)的往返傳輸?shù)椒?wù)器以完成顯示事務(wù)應(yīng)用程序會(huì)話越多，網(wǎng)絡(luò)延遲時(shí)間就越長從而影響顯示性能網(wǎng)絡(luò)延遲不會(huì)在局域網(wǎng)絡(luò)中出現(xiàn)總的延遲時(shí)間=延遲x會(huì)話次數(shù)利用率=流量/帶寬流量=傳輸數(shù)據(jù)大小/響應(yīng)時(shí)間網(wǎng)絡(luò)響應(yīng)時(shí)間=傳輸+排隊(duì)時(shí)間+延遲網(wǎng)絡(luò)利用率超過60%將有助于網(wǎng)絡(luò)資源的競爭 服務(wù)器渲染時(shí)間相較于網(wǎng)絡(luò)連接而言是一個(gè)較小的因素硬件環(huán)境GIS UserDBMSCPU Time0.56 secCPU Time0.06 se