搭建PySpider爬蟲服務(wù)

搭建PySpider爬蟲服務(wù)目錄一：環(huán)境準(zhǔn)備2二:部署mariadb三：部署redis四：部署pyspider五：部署完成一：環(huán)境準(zhǔn)備1.yum更新輸入命令：yumupdate-y32.安裝開發(fā)編譯工具輸入命令：yuminstallgccgcc-c++-y43.安裝依賴庫輸入命令：yuminstallpython-pippython-develpython-distributelibxm12libxm12-develpython-lxmllibxsltlibxslt-developensslopenssl-devel-y54.升級(jí)pip輸入命令：pipinstall--upgradepip6二：部署mariadb由于Centso7中MySQL數(shù)據(jù)庫已從默認(rèn)的程序中列表中移除，我們使用mariadb代替。1.安裝mariadbyuminstallmariadb-servermariadb-y72.啟動(dòng)mariadb服務(wù)輸入命令：systemctlstartmariadb83.設(shè)置root密碼默認(rèn)的root用戶密碼為空，你可以使用以下命令來創(chuàng)建root用戶的密碼輸入命令：mysqladmin-urootpassword"Password“（該步驟也可以跳過，password后的password可以改為任何你希望設(shè)置的密碼）94.檢查是否安裝成功輸入命令：mysql–uroot–p然后輸入您剛才設(shè)置的密碼（默認(rèn)：Password

），如果一切正常，您應(yīng)該可以在命令行看到以MariaDB[(none)]>

或

mysql>

開頭的提示了，說明連接成功。此時(shí)輸入

SHOWDATABASES;

并回車，應(yīng)該可以看到類似下面這樣的輸出，說明一切正常。完成后，可以通過快捷鍵

Ctrl+C

或命令行鍵入

exit

來退出，進(jìn)入下一步。如果您未設(shè)置密碼，直接用

mysql

即可10三：部署redis1.下載安裝包輸入命令：wgethttp://download.redis.io/redis-stable.tar.gz2.解壓安裝包：tar-xzvfredis-stable.tar.gz3.移動(dòng)解壓包到/usr/local內(nèi)：mvredis-stable/usr/local/redis114.編譯安裝cd/usr/local/redismakemakeinstall5.設(shè)置配置文件路徑：mkdir-p/etc/rediscp/usr/local/redis/redis.conf/etc/redis/redis.conf6.啟動(dòng)redis：/usr/local/bin/redis-server/etc/redis/redis.conf12四：部署pyspider1.安裝依賴pipinstall--upgradechardeteasy_installmysql-connector==2.1.3easy_installredispipinstallJinja2==2.102.安裝pyspider:pipinstallpyspider133.配置pyspider首先創(chuàng)建配置目錄mkdir/etc/pyspider然后

/etc/pyspider

目錄下創(chuàng)建pyspider.conf.json，參考下面的內(nèi)容。具體配置的說明文檔請(qǐng)參考

官方文檔示例代碼：/etc/pyspider/pyspider.conf.json{"taskdb":"mysql+taskdb://root:Password@:3306/taskdb","projectdb":"mysql+projectdb://root:Password@:3306/projectdb","resultdb":"mysql+resultdb://root:Password@:3306/resultdb","message_queue":"redis://:6379/db","webui":{"username":"root","password":"Password","need-auth":true}}144.啟動(dòng)服務(wù)輸入命令：pyspider-c/etc/pyspider/pyspider.conf.json如果一切正常，現(xiàn)在訪問

http://<您的CVMIP地址>:5000，您應(yīng)該可以看到pyspiderdashboard的首頁了。服務(wù)能夠正常啟動(dòng)后，我們需要讓它能夠在后臺(tái)運(yùn)行，您可以通過以下命令讓服務(wù)在后臺(tái)運(yùn)行nohuppyspider-c/etc/pyspider/pyspider.conf.json&也可以使用官方推薦的

Supervisor

來啟動(dòng)，這里就不詳細(xì)介紹了，具體用法可以參考Supervisor的文檔1