大數(shù)據(jù)應用案例 大數(shù)據(jù)培訓視頻教程-大數(shù)據(jù)高并發(fā)架構實戰(zhàn)案例

《大數(shù)據(jù)高并發(fā)系統(tǒng)架構實戰(zhàn)方案（LVS負載均衡、Nginx、共享存儲、海量數(shù)據(jù)、隊列

緩存）》

課程講師：tom5

課程分類：Java

涉及項目：大數(shù)據(jù)高并發(fā)系統(tǒng)平臺架構

用到技術：LVS負載均衡、Nginx、共享存儲、海量數(shù)據(jù)

其他特性：隊列緩存、緩存平臺、mysql主從復制

涵蓋內(nèi)容：視頻、代碼、ppt

課時數(shù)量:21

隨著互聯(lián)網(wǎng)的發(fā)展，高并發(fā)、大數(shù)據(jù)量的網(wǎng)站要求越來越高。而這些高要求都是基礎的技術

和細節(jié)組合而成的。本課程就從實際案例出發(fā)給大家原景重現(xiàn)高并發(fā)架構常用技術點及詳細演練。

通過該課程的學習，普通的技術人員就可以快速搭建起千萬級的高并發(fā)大數(shù)據(jù)網(wǎng)站平

臺。

亮點一：真實環(huán)境還原，課程采用了VM環(huán)境重現(xiàn)大網(wǎng)站集群服務器環(huán)境，真實環(huán)境還原再

現(xiàn)。

亮點二：基礎實用，細節(jié)決定成敗，課程內(nèi)容在演練過程中重點介紹各種細節(jié)，保證初級人員快

速入門及高級進階。

亮點三：講師豐富的海量平臺運作經(jīng)驗

第一章概述（1課時）簡要介紹該系列課程的內(nèi)容，

本章內(nèi)容如下：

主流高并發(fā)大數(shù)據(jù)應對技術介紹

CDN鏡像技術介紹

靜態(tài)化技術介紹

庫表水平及垂直拆分技術介紹

虛擬化云計算體系介紹

高并發(fā)系統(tǒng)架構規(guī)劃

高并發(fā)大型網(wǎng)站高可靠架構圖

課程安排簡介

高并發(fā)大型網(wǎng)站高可靠架構網(wǎng)絡IP規(guī)劃

搭建實戰(zhàn)環(huán)境的準備工作

SFTP客戶端Filezilla使用簡介

SSH客戶端SecureCRT使用簡介

Centos關閉圖形界面啟動及開啟sshd實戰(zhàn)

虛擬機clone后網(wǎng)卡重新初始化演練

VMware使用技巧演練

第二章LVS實現(xiàn)負載均衡軟交換實戰(zhàn)（5課時）

本章演練的是負載均衡技術的核心，主要包括LVS的類型特點適用場景介紹，使用Piranha安

裝快速搭建LVS負載均衡集群及配置，LVS負載均衡DR模式深入安裝調(diào)試，LVS調(diào)度策略及負載均衡

原理詳細演練，LVS深入實踐NAT模式集群調(diào)試。

詳細內(nèi)容如下：

LVS服務器配置準備

關閉centos網(wǎng)卡自動管理實踐

上網(wǎng)網(wǎng)卡手動配理

yum鏡像加速

yum安裝Piranha

piranha-gui啟動

防火墻配置開通3306口

pulse啟動

piranha安裝效果驗證

nginx服務器配置安裝

主機名配置

添加nginx的yum安裝源

yum安裝nginx

nginx安裝效果驗證

防火墻配置打開80口

防火墻配置虛IP包轉(zhuǎn)發(fā)規(guī)則支持LVS的DR模式

Piranha配置DR模式詳解演練

globalsettings公網(wǎng)IP酉己置Primaryserverpublicip

redundancy配置Ivs服務器的冗余，

virtualservers配置VirtualIPAddress和realserver

主從配置scp復制

LVS安裝效果驗證

ipvsadm演練

熱備切換

LVS自服務配置啟動

Piranha相關輪詢配置參數(shù)講解及效果演示

Roundrobin：輪轉(zhuǎn)調(diào)度輪詢（最簡單的輪詢）

Weightedleast-connections：加權最少連接（考慮負載、服務器性能因素）

Weightedroundrobin：加權最少連接（考慮服務器性能因素）

Least-connection：最少連接（考慮負載因素）等

/etc/sysconfig/ha/lvs.cf文件配置內(nèi)容詳細講解

LVS調(diào)度策略深入及效果演示

服務器集群負載均衡簡化的整體結(jié)構講解

基于DNS的請求調(diào)度

基于前端調(diào)度器的請求調(diào)度

四層交換-通過DR實現(xiàn)報文轉(zhuǎn)發(fā)

四層交換?通過IP隧道實現(xiàn)報文轉(zhuǎn)發(fā)

四層交換-通過NAT實現(xiàn)報文轉(zhuǎn)發(fā)

四層交換-三種報文轉(zhuǎn)發(fā)技術比較

應用層交換-協(xié)議內(nèi)部支持Http重定向

應用層交換-其他技術

基于后端服務器的請求調(diào)度

LVS三種模式比較

LVS典型NAT模式網(wǎng)絡拓撲圖

Clone服務器配置安裝nginx2及Ivs2

Piranha配置NET模式

NAT模式效果演示

centos配置防火墻關閉，開啟轉(zhuǎn)發(fā)

centos主備LVS復制配置文件驗

證LVSNAT安裝效果

第三章Nginx高級配置實戰(zhàn)(3課時)

本章演練的是靜態(tài)內(nèi)容與動態(tài)內(nèi)容服務器分離，主要包括Nginx基礎安裝配置，Nginx反向代理

實戰(zhàn)進階，Nginx動靜分離URL轉(zhuǎn)發(fā)實戰(zhàn)，

詳細內(nèi)容如下：

Hadoop,Tomcat的安裝環(huán)境采用debian的tomcat最小安裝版虛擬機下載并初始

化

tomcat服務端口修改

主機名修改

增加首頁jsp服務器識別標志

tomcat安裝效果測試nginx

安裝默認目錄講解nginx配

置文件詳細講解

nginx配置server先后順序演練

hosts文件修改本地dns配置模擬域名訪問

Nginx調(diào)度策略演練：nginx的upstream目前支持4種方式的分配：輪詢(默認)、

weightsip_hash、fair、url_hash

Nginx調(diào)度策略-小技巧演練等：backup,down等演練

proxy_pass后的url加I不力口/的區(qū)別演練

Nginx對URL進行匹配語法規(guī)則講解

Nginx對URL進行匹配演練實踐

Nginx對URL進行匹配?常用規(guī)則講解

Nginx一些可用的全局變量詳解

Nginx代理后，服務端收到參數(shù)通過tomcat上編寫info.jsp詳細查看

Nginx對URL重寫語法詳解：標記，判斷文件或目錄

正則表達式語法講解

Nginx對URL重寫例子技巧演練

1.簡單例子:rewrite"/zixun/([0-9]+)(/*).html$"/zixun/$l/last;

2.多目錄轉(zhuǎn)成參數(shù)

3.目錄對換

4.設定nginx在用戶使用ie的使用重定向到/nginx-ie口錄下

5.目錄自動加

6.禁止htaccess

7?禁止多個目錄

8.文件反盜鏈并設置過期時間

9.域名跳轉(zhuǎn)

10.多域名轉(zhuǎn)向

11.三級域名跳轉(zhuǎn)

12.域名鏡向

13.某個子目錄作鏡向

第四章基于共享存儲實現(xiàn)動態(tài)內(nèi)容靜態(tài)化加速實戰(zhàn)（2課時）

本章演練的是基于共享存儲實現(xiàn)動態(tài)內(nèi)容靜態(tài)化加速，主要包括NFS共享文件系統(tǒng)基礎安裝配

置，tomcat動態(tài)內(nèi)容靜態(tài)化加速實戰(zhàn)演練。

詳細內(nèi)容如下：

nginx負載均衡雙機配置文件同步復制

檢查LVS及整套集群環(huán)境運行狀態(tài)（LVS+nginx+tomcat）,停掉tomcat檢查

clone生成服務器安裝配置nfs服務端

centos64位yum安裝服務端nfs-utilsrpcnbind

修改nfs配置文件/etc/exports服務端開放共享目錄

關閉防火墻，啟動nfs相關服務端服務

nginx服務器，tomcat服務器上nfs客戶端安裝配置并驗證共享效果

配置各nfs相關服務開機自啟動

通過詳細jsp講解演練將動態(tài)內(nèi)容靜態(tài)化，提高整體系統(tǒng)性能。

tomcat服務器上目錄權限開放保證tomcat,nginx服務有權限讀寫

動態(tài)內(nèi)容靜態(tài)化效果驗證

第五章緩存平臺安裝配置使用（2課時）

本章演練的主流緩存平臺的搭建，主要包括基于memcached搭建緩存平臺安裝配置，基于緩存

編程實戰(zhàn)演練。

詳細內(nèi)容如下：

Clone生成服務器mem配置網(wǎng)卡及主機名

下載memcached的rpmforge的yum源rpm安裝包

yum安裝memcached

memcached安裝效果驗證，服務自啟動配置驗證

centos>win7上安裝telnet客戶端

telnet命令幫助檢查端口11211是否可訪問

防火墻關掉11211口限制

memcached服務器運行狀態(tài)參數(shù)詳解

memcached啟動命令詳解并演練

下載Memcachedjava客戶端jar包

memcache客戶端測試代碼memtest.jsp詳解演練

statsitems命令查看memcache中每個slab中存儲的item的一些詳細信息

statsslabs命令查看memcache中slab中內(nèi)存分配的情況

memcache的增刪改讀效果演練

計數(shù)器代碼count.jsp講解實戰(zhàn)

部署到tomcatl和tomcat2,不同服務器jsp增加服務器識別標識，并驗證效果

第六章mysql主從復制安裝配置實戰(zhàn)（2課時）

本章演練數(shù)據(jù)關鍵存儲主流數(shù)據(jù)庫高可靠平臺的搭建，主要包括mysql主從復制基礎安裝配

置，mysql主從復制安裝配置進階及結(jié)合緩存編程實戰(zhàn)演練。

詳細內(nèi)容如下：

Clone生成服務器mysqll配置網(wǎng)卡及主機名

yum安裝mysql服務

修改mysql配置字符集utf8

配置mysqld自啟動服務并啟動驗證安裝效果

mysql設置root密碼

Mysql遺忘密碼如何重置關鍵使用技巧

Clone生成服務器mysql2修改主從配置開啟binlog

在主服務器上建立帳戶并授權slave同步權限

登錄主服務器的mysql,杳詢master的狀態(tài)確定binlog文件名及pos偏移值

配置從服務器Slave指定上述主服務器binlog文件名及pos偏移值

啟動從同步復制服務并檢查從服務器復制功能狀態(tài)

詳細狀態(tài)實際講解Slave_IO_Running:Yes〃此狀態(tài)必須YES

Slave_SQL_Running:Yes〃此狀態(tài)必須YES

十分關鍵

外部訪問3306口驗證

配置防火墻打開3306口

高級配置解決mysql遠程訪問授權問題

主從服務器驗證主從復制效果

主服務器中建庫建表，插入數(shù)據(jù)

從服務器中查看同步效果

若主服務器有老數(shù)據(jù)的情況初始化步驟詳解mysqldump,source等命令使用

利用Mysql解決memcahe持久化問題

Mysqljdbc驅(qū)動jar包下載Mysql

測試mysqltest.jsp代碼講解mysql

授權小陷阱問題解決

計數(shù)器表建立，計數(shù)器jsp代碼修改并在原有memcache基礎上增加mysql持久化

部分代碼，間隔超過10秒存一次db,并重啟memcached檢查代碼效果

第七章海量數(shù)據(jù)平臺安裝配置實戰(zhàn)（2課時）

本章演練主流NoSql分布式數(shù)據(jù)引擎及MapReduce平臺hadoop的搭建，主要包括hadoop

分布計算平臺基礎安裝配置，hadoop高級管理，HDFS分布式文件使用深入演練。

詳細內(nèi)容如下：

HDFS和MapReduce共同組成了Hadoop分布式系統(tǒng)體系結(jié)構的核心。HDFS集群、

MapReduce分布式計算、Hadoop分布式集群運行圖詳解

Clone出hadoop服務器nameNode配置ip及hostname

修改hosts增力IInameNode,dataNode的ip映射

nameNode增加hadoop用戶及用戶組并設置密碼

nameNode配置ssh自動登錄

Clone出hadoop服務器dataNodel、2酉覆ip及hostname

修改hosts增力口nameNode,dataNode的ip映射dataNode

增加hadoop用戶及用戶組并設置密碼

dataNodel>2配置ssh自動登錄

Namenode服務端同步ssh公鑰文件到各

dataNodel、2

ssh驗證ssh自動登錄

Hadoop安裝，下載并上傳解壓縮

建立文件目錄tmp

Hadoop配置conf/core-site.xml詳解演練

Hadoop配置conf/hdfs-site.xml詳解演練

Hadoop配置conf/mapred-site.xml詳解演練

Hadoop配置conf/masters

Hadoop酉己置conf/slaves

復制Hadoop到slaves服務器

啟動Hadoop

首次執(zhí)行，格式化HDFS文件系統(tǒng)hadoopnamenode-format

驗證Hadoop啟動

java自帶的小工具jps查看進程

hadoopdfsadmin-report查看服務狀態(tài)

Web管理:jobtracker、tasktracker、DFS狀態(tài)查看

Hadoop無法啟動可能的原因：防火墻等

管理HDFS中的文件詳細演練

第章簡單隊列緩存平臺安裝配置實戰(zhàn)（2課時）

本章演練熱門的redis搭建簡單的隊列及緩存平臺，主要包括redis安裝配置實戰(zhàn)，redis實用

編程詳細演練。

詳細內(nèi)容如下：

Redis是當前最熱門的高級key-value數(shù)據(jù)庫。它跟memcached類似，不過數(shù)據(jù)可

以持久化，而且支持的數(shù)據(jù)類型很豐富。

基于redis搭建簡單的隊列及緩存平臺

clone服務器redis配置ip及修改主機名

下載安裝redis-2.6.11.tar.gz

編譯原代碼

編譯問題編譯環(huán)境上網(wǎng)yum安裝

Redis編譯安裝，在src目錄下生成5個可執(zhí)行文件，redis-serve「、redis-cli>

redis-benchmark>redis-check-aof^redis-check-dump

設置內(nèi)存分配策略設置/etc/sysctl.conf中vm.overcommit_memory=1,允許分

配所有的物理內(nèi)存，而不管當前的內(nèi)存狀態(tài)如何

Redis啟動并驗證

Redis遠程連接6379口配

置防火墻打開6379端口配

置指定log及db文件

配置自啟動服務腳本:/etc/init.d/「edis

增加權限。配置自啟動服務redis

Redis配刊文件redis.conf修改，其中daemonize:默認情況下，redis不是在后臺

運行的，需要在后臺運行，把該項的值更改為yeso

Redis常用命令：delname,existsname,ping,save,redis-cli-p6379save

Redis支持String類型，能存儲二進制安全的字符串，最大長度為1GB。也可用來存

儲數(shù)字，并支持對數(shù)字加減操作。還支持對其部分的修改和獲取操作。

List類型操作演練

集合(Sets)類型操作演練

有序集合(SortedSets)類型操作演練