Redis分布式解決方案-Coids

Codis是一個(gè)分布式

Redis

解決方案,對(duì)于上層的應(yīng)用來(lái)說(shuō),連接到CodisProxy和連接原生的RedisServer沒有明顯的區(qū)別(不支持的命令列表),上層應(yīng)用可以像使用單機(jī)的Redis一樣使用,Codis底層會(huì)處理請(qǐng)求的轉(zhuǎn)發(fā),不停機(jī)的數(shù)據(jù)遷移等工作,所有后邊的一切事情,對(duì)于前面的客戶端來(lái)說(shuō)是透明的,可以簡(jiǎn)單的認(rèn)為后邊連接的是一個(gè)內(nèi)存無(wú)限大的Redis服務(wù).

Codis由四部分組成:CodisProxy

(codis-proxy)

實(shí)現(xiàn)redis協(xié)議，由于本身是無(wú)狀態(tài)的，因此可以部署很多個(gè)節(jié)點(diǎn)CodisManager(codis-config)

是codis的管理工具，包括添加/刪除redis節(jié)點(diǎn)添加刪除proxy節(jié)點(diǎn)，發(fā)起數(shù)據(jù)遷移等操作，自帶httpserver，支持管理后臺(tái)方式管理配置CodisRedis

(codis-server)

是codis維護(hù)的redis分支，基于2.8.21分支，加入了slot的支持和原子的數(shù)據(jù)遷移命令;codis-proxy和codis-config只能和這個(gè)版本的redis交互才能正常運(yùn)行ZooKeeper

用于codis集群元數(shù)據(jù)的存儲(chǔ),維護(hù)codis集群節(jié)點(diǎn)Codis優(yōu)缺點(diǎn)–

優(yōu)點(diǎn)?

對(duì)客戶端透明，與codis交互方式和redis本身交互一樣?

支持在線數(shù)據(jù)遷移，遷移過(guò)程對(duì)客戶端透明?

有簡(jiǎn)單的管理和監(jiān)控界面?

支持高可用，無(wú)論是redis數(shù)據(jù)存儲(chǔ)還是代理節(jié)點(diǎn)?

自動(dòng)進(jìn)行數(shù)據(jù)的均衡分配?

最大支持1024個(gè)redis實(shí)例，存儲(chǔ)容量海量?

高性能–

缺點(diǎn)

?

采用自有的redis分支，不能與原版的redis保持同??

如果codis的proxy只有一個(gè)的情況下，redis的性能會(huì)下降20%左右?

某些命令不支持，比如事務(wù)命令muti?

國(guó)內(nèi)開源產(chǎn)品，活躍度相對(duì)弱一些Codis架構(gòu)Codis的性能(代理+兩個(gè)redis節(jié)點(diǎn)

首先需要安裝go環(huán)境[html]

\o"viewplain"viewplain

\o"copy"copy

wget

/golang/go1.4.1.linux-amd64.tar.gz

解壓[html]

\o"viewplain"viewplain

\o"copy"copy

tar

-zxvf

go1.4.1.linux-amd64.tar.gz

下載zookeeper[html]

\o"viewplain"viewplain

\o"copy"copy

wget

/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

解壓[html]

\o"viewplain"viewplain

\o"copy"copy

vi

~/.bash_profile

配置go環(huán)境變量還有zkhome[html]

\o"viewplain"viewplain

\o"copy"copy

vi

~/.bash_profile

[html]

\o"viewplain"viewplain

\o"copy"copy

PATH=$PATH:$HOME/bin

export

PATH

JAVA_HOME=/java/jdk1.7.0_76

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export

JAVA_HOME

export

CLASSPATH

ZOOKEEPER_HOME=/java/zookeeper-3.4.6

GOROOT=/java/go

export

GOPATH=/java/codis

PATH=$PATH:$GOROOT/bin:$GOPATH/bin:$ZOOKEEPER_HOME/bin

export

PATH

令環(huán)境變量生效[html]

\o"viewplain"viewplain

\o"copy"copy

source

~/.bash_profile

創(chuàng)建codis目錄[html]

\o"viewplain"viewplain

\o"copy"copy

mkdir

codis

下載codis代碼[html]

\o"viewplain"viewplain

\o"copy"copy

go

get

-u

-d

/CodisLabs/codis

進(jìn)入到coids里面執(zhí)行make編譯代碼編譯完成后會(huì)在bin目錄下面產(chǎn)生3個(gè)可執(zhí)行文件修改config.ini文件[html]

\o"viewplain"viewplain

\o"copy"copy

vi

config.ini

進(jìn)入zk目錄啟動(dòng)zk[html]

\o"viewplain"viewplain

\o"copy"copy

cd

/java/zookeeper-3.4.6/bin

./zkServer.sh

start

通過(guò)jps命令查看zk是否啟動(dòng)codis啟動(dòng)步驟[html]

\o"viewplain"viewplain

\o"copy"copy

./codis-config

-c

../config.ini

dashboard

你也可以在后面加上&表示后臺(tái)啟動(dòng)可以查看zk里面的數(shù)據(jù)然后初始化slots[html]

\o"viewplain"viewplain

\o"copy"copy

./codis-config

-c

../config.ini

slot

init

這些slot的信息都會(huì)保存在zk里面首先可以啟動(dòng)一個(gè)codis-server復(fù)制一份redis的配置文件過(guò)來(lái),然后啟動(dòng)[html]

\o"viewplain"viewplain

\o"copy"copy

./codis-server

./redis.6379.conf

然后添加一個(gè)groupserver每一個(gè)Servicegroup

作為一個(gè)Redis服務(wù)器組存在,只允許有一個(gè)master,可以有多個(gè)slave,groupid

僅支持大于1的整數(shù)添加成功

分配slot

啟動(dòng)codis-proxy[html]

\o"viewplain"viewplain

\o"copy"copy

./codis-proxy

-c

../config.ini

-L

./proxy.log

--cpu=1

--addr=03:19000

--http-addr=03:11000

?

Addr為代理綁定的ip和端口?

--cpu為代理使用的cpu核數(shù)，與虛擬機(jī)的配置有關(guān)，一般跟核數(shù)相同?

http-addr用于測(cè)試的地址

?

-L

指定代理的日志文件

剛啟動(dòng)的時(shí)候,默認(rèn)是offline狀態(tài),處于此狀態(tài)不能對(duì)外提供服務(wù)把代理狀態(tài)修改為online訪問11000端口申博官網(wǎng)澳門金沙導(dǎo)航宅男福利社www.zhainan.hk

查看到proxy的id,然后修改codisproxy的狀態(tài)[html]

\o"viewplain"viewplain

\o"copy"copy

./codis-config

-c

../config.ini

proxy

online

proxy_1

也可以通過(guò)dashboard查看

連接proxy[html]

\o"viewplain"viewplain

\o"copy"copy

./redis-cli

-p

19000

-h

03

通過(guò)\o"JavaEE知識(shí)庫(kù)"Java

客戶端連接codis

Pom.xml[html]

\o"viewplain"viewplain

\o"copy"copy

<dependency>

<groupId>redis.clients</groupId>

<artifactId>jedis</artifactId>

<version>2.8.0</version>

<type>jar</type>

<scope>compile</scope>

</dependency>

<dependency>

<groupId>io.codis.jodis</groupId>

<artifactId>jodis</artifactId>

<version>0.3.1</version>

</dependency>

<dependency>

<groupId>com.wandoulabs.jodis</groupId>

<artifactId>jodis</artifactId>

<version>0.2.2</version>

</dependency>

<dependency>

<groupId>junit</groupId>

<artifactId>junit</artifactId>

<version>4.11</version>

<type>jar</type>

<scope>test</scope>

</dependency>

Java代碼:[java]

\o"viewplain"viewplain

\o"copy"copy

JedisResourcePool

jedisPool

=

RoundRobinJedisPool.create()

.curatorClient("03:2181",

30000).zkProxyDir("/zk/codis/db_test/proxy").build();

try

(Jedis

jedis

=

jedisPool.getResource())

{

jedis.set("foo",

"bar");

String

value

=

jedis.get("foo");

System.out.println(value);

}

刪除剛剛設(shè)置的key

運(yùn)行程序查看結(jié)果

Codis高可用codis-haCodis-ha需要單獨(dú)安裝codis-ha

[html]

\o"viewplain"viewplain

\o"copy"copy

go

get

/ngaut/codis-ha

進(jìn)入codis-ha目錄執(zhí)行build命令[html]

\o"viewplain"viewplain

\o"copy"copy

go

build

啟動(dòng)codis-ha

[html]

\o"viewplain"viewplain

\o"copy"copy

nohup

./codis-ha

--codis-config=03:18087

--productName=test

–codis-config:指定配置服務(wù)地址

–productName：產(chǎn)品名稱

–nohup是把日志輸出重定向到nohup文件

一共啟動(dòng)了2個(gè)codis

Kill掉其中一個(gè)codis[html]

\o"viewplain"viewplain

\o"copy"copy

kill

-9

16914

nohup.out輸出日志

刷新dashboard頁(yè)面

原來(lái)的master的狀態(tài)被改變?yōu)閛ffine,slave被提升為mas