微服務(wù)實例-構(gòu)建分布式爬蟲系統(tǒng)-數(shù)人科技課件

自制分布式爬蟲系統(tǒng)單機的All-In-One爬蟲架構(gòu)控制模塊抓取模塊抽取模塊HA

Proxy各地代理URLHTML模板結(jié)果JSONXML遞歸URL有狀態(tài)解析JS、地區(qū)代理、調(diào)速登陸利用JavaEE容器的線程池、共享狀態(tài)分布式和微服務(wù)是Silver

Bullet么？分布式和微服務(wù)的優(yōu)點特定模塊單獨開發(fā)和測試（YES）容易對特定模塊進行橫向擴展

（YES）整體可靠性更高（？）服務(wù)（以及代碼）可以重用（YES）離線和在線類型服務(wù)可以混合部署

（Great）Step

1.拆服務(wù)，建集群控制服務(wù)抓取服務(wù)抽取服務(wù)結(jié)果聚合服務(wù)HA

Proxy獲取結(jié)果控制服務(wù)抓取服務(wù)抽取服務(wù)結(jié)果聚合服務(wù)最終結(jié)果中間結(jié)果盡量利用Docker本身多實例，避免復(fù)雜的多線程編程因為任務(wù)并行運行，所以需要保存中間結(jié)果，最后進行歸并Step

2.接口異步化控制服務(wù)抓取服務(wù)抽取服務(wù)結(jié)果聚合服務(wù)HA

Proxy獲取結(jié)果控制服務(wù)抓取服務(wù)抽取服務(wù)結(jié)果聚合服務(wù)URLCookieHTMLRabbitMQ：異步、服務(wù)發(fā)現(xiàn)、中間結(jié)果存儲JSONStep

3.

無狀態(tài)、無狀態(tài)、無狀態(tài)控制服務(wù)抓取服務(wù)抽取服務(wù)結(jié)果聚合服務(wù)HA

Proxy獲取結(jié)果控制服務(wù)抓取服務(wù)抽取服務(wù)結(jié)果聚合服務(wù)URLCookieSessionIDHTMLSessionIDJSONSessionIDPages（JSON）SessionIDSessionIDSessionID問題：異步抓取的時候鏈接去重2.某次同步請求是否抓全Reddis

ClusterSessionIDStep5離線和在線服務(wù)混合部署離線服務(wù)吞吐很高，爬取模塊隊列經(jīng)常破百萬在線服務(wù)要求實時性-

MQ集群化-隊列設(shè)置優(yōu)先級Step6全局配置熱更新問題：如何全局改變常用小參數(shù)的配置（變化少，使用頻繁）如何全局改變體量較大的全局共享數(shù)據(jù)（體積大、變化較多）寫代碼的時候提前做好熱讀取參數(shù)的機制PUSH使用ZooKeeper/etcd來同步小參數(shù)PULL使用Reddis之類配置服務(wù)器來存儲較大的共享數(shù)據(jù)Step

7.摩爾定律腦補:

每個組件都可能失效

每個步驟都可能中斷狀態(tài)不一致咋辦、消息會不會丟、消息堆積會不會造成OOM、會不會僵尸進程和數(shù)據(jù)…

…設(shè)置任務(wù)超時當取結(jié)果的時候，如果超時就返回當前的部分結(jié)果設(shè)置定時Cleaner定時梳理所有任務(wù)，如果全局超時就認為任務(wù)已經(jīng)完成設(shè)置自動拋棄機制超過一定限度就拋棄舊的信息做最壞的打算，祈禱最好的結(jié)果上云的Check

List服務(wù)單元功能越單一越好計算模塊要做到無狀態(tài)（不依賴本地I/O）任何服務(wù)都不能有單點，必須做集群可能的話，模塊間接口盡量異步設(shè)計時做最壞打算——每個模塊都可能失效，而且無法及時報警分布式的配置管理，RollingUpdate/Restart各個層面的集中式監(jiān)控和日志方案……真的是一個操作系統(tǒng)誒

以及各種各樣的PaaS服務(wù)，讓大家能夠輕松上云世界潮流，浩浩蕩蕩硬件Dell

HP

CISCO操作系統(tǒng)Microsoft

Redhat軟件Oracle

IBM應(yīng)用IBM

SAP

ISV傳統(tǒng)IT

時代渠道資源型線下集成商公有云私有云SaaSSalesforce

Zendesk分布式OS

+存儲PaaS各種寶、云Cep