Hi~

2022-05-26  2022-05-26    6528 字   14 分钟

Zookeeper

一、Zookeeper的介绍

（一）Zookeeper概述

1.介绍
Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。它是一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务，应用程序最初通常会吝啬它们，这使得它们在变化的情况下变得脆弱并且难以管理。即使正确完成，这些服务的不同实现也会在部署应用程序时导致管理复杂性。
2.工作机制
基于观察者模式设计的分布式服务管理框架。

（二）Zookeeper的特点

Zookeeper官方架构图


1.Zookeeper：一个领导级别的存在，监测和管理多个服务。
2.集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。
3.数据一致性：从同一客户端发起的事务请求，最终将会严格地按照顺序被应用到 ZooKeeper 中去。
4.更新请求顺序进行：来自同一个Client的更新请求按照其发送顺序依次执行。
5.原子性：所有事务请求的处理结果在整个集群中所有机器上的应用情况是一致的，也就是说，要么整个集群中   所有的机器都成功应用了某一个事务，要么都没有应用。
6.实时性：在一定时间范围，Client能读到最新的数据。

（三）Zookeeper的数据结构

Zookeeper数据模型的结构与Unix文件系统很类似，都是树结构。树上有若干个节点，每个节点能够存储1MB的数据，同时每个节点都是通过其路径可以唯一标识的。

（四）Zookeeper企业应用场景

Zookeeper服务包括：统一命名服务、统一配置管理、统一集群管理、软负载均衡等。
1.统一命名服务
命名服务是分布式系统中较为常见的一类场景，分布式系统中，被命名的实体通常可以是集群中的机器、提供的服务地址或远程对象等。通过命名服务，客户端可以根据指定名字来获取资源的实体、服务地址和提供者信息。例如一般用户都是通过域名来访问应用而不是IP。阿里开源分布式服务框架Dubbo中使用zookeeper来作为其命名服务，维护全局的服务列表。

2.统一配置管理
（1）配置文件同步，集群中所有配置文件的信息都是一致的，对配置文件修改后，快速同步到各个节点上。
（2）Zookeeper实现配置管理。将配置信息写入到Zookeeper上的节点，然后各个客户端服务器监听这个节点，一但节点中的数据发生变化，Zookeeper将通知到各个客户端服务器。

3.统一集群管理
 zookeeper的两大特性：节点特性和watcher机制
（1）分布式环境中实时掌握每个节点的状态，并根据节点实时状态做出一定的调整。
（2）在实时监测到节点变化后，将节点的信息写入到Zookeeper上的节点，通过监听该节点来获取它的实时状态变化。

4.负载均衡
zookeeperk实现负载均衡就是通过watcher机制和临时节点判断哪些节点宕机来获取可用的节点来实现的,
zookeeperk会维护一个树形的数据结构，类似于window的资源管理器目录，其中 EPHEMERAL(临时）节点会随着创建它的客户端端口而被删除，利用这个特性很容易实现软负载均衡。

5.服务器动态上下线

二、Zookeeper的安装与配置

（一）Zookeeper下载安装

1、Zookeeper下载
下载地址：https://zookeeper.apache.org/releases.html#download


2．安装前准备
（1）安装Jdk
（2）拷贝Zookeeper安装包到Linux系统下
（3）解压到指定目录
    tar -zxvf apache-zookeeper-3.4.10-bin.tar.gz -C /opt/pro/zk

3．配置修改
（1）将/opt/pro/zk/apache-zookeeper-3.4.10-bin/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；
mv zoo_sample.cfg zoo.cfg
（2）打开zoo.cfg文件，修改dataDir路径：
    vim zoo.cfg
    修改如下内容：
    dataDir=/opt/pro/zk/apache-zookeeper-3.4.10-bin/zkData
（3）在/opt/pro/zk/apache-zookeeper-3.4.10-bin这个目录上创建zkData文件夹
     mkdir zkData

4．操作Zookeeper
（1）启动Zookeeper
     在/opt/pro/zk/apache-zookeeper-3.4.10-bin目录下执行
     bin/zkServer.sh start
（2）jps查看进程是否启动
    4020 Jps
    4001 QuorumPeerMain
（3）查看状态：
    在/opt/pro/zk/apache-zookeeper-3.4.10-bin目录下执行
    bin/zkServer.sh status
    显示状态：
    ZooKeeper JMX enabled by default
    Using config: /opt/pro/zk/apache-zookeeper-3.4.10-bin/bin/../conf/zoo.cfg
    Mode: standalone
（4）启动客户端：
    在/opt/pro/zk/apache-zookeeper-3.4.10-bin目录下执行
    bin/zkCli.sh
（5）quit退出客户端：
（6）停止Zookeeper
    在/opt/pro/zk/apache-zookeeper-3.4.10-bin目录下执行
    bin/zkServer.sh stop

（二）配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下

1．tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒
Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

2．initLimit =10：LF初始通信时限
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

3．syncLimit =5：LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

4．dataDir：数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据。

5．clientPort =2181：客户端连接端口
监听客户端连接的端口。

三、Zookeeper的内部原理

（一）选举机制

1）半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。
2）Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。
3）以一个简单的例子来说明整个选举的过程。
假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么，如图所示。


图中Zookeeper的选举机制
（1）服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是LOOKING状态。
（2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。
（3）服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的Leader。
（4）服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。
（5）服务器5启动，同4一样当小弟。

（二）节点类型

1.持久节点（Persistent）：服务端和客户端断开连接后，创建的节点不删除；
  持久化目录节点：服务端和客户端断开连接后，该节点仍然存在；
  持久化顺序编号目录节点：服务端和客户端断开连接后，该节点仍然存在；只是zook给该节点名称进行顺序编号。

2.短暂节点(Ephemeral)：服务端和客户端断开连接后，创建的节点自己删除；
  临时目录节点：客户端与Zookeeper断开连接后，该节点被删除
  临时顺序编号目录节点：客户端与Zookeeper断开连接后，该节点被删除，只是zook给该节点名称进行顺序编号。


注意：在分布式系统中，顺序号可以被用于为为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序。节点上的顺序号是一个单调递增的计数器，由父节点维护。

（三）Zookeepr写和读数据流程 （读写机制）

1.写数据流程
以3台服务器的Zookeeper集群为例，一个Leader，两个Follower即server1和server2。
（1）Client向Zookeeper的server1发送一个写请求，客户端写数据到服务器1上；
（2）如果server1不是Leader，那么server1会把接收到的写请求转发给Leader；然后Leader会将写请求转发     给每个server；
    server1和server2负责写数据，并且两个Follower的写入数据是一致的，保存相同的数据副本；
    server1和server2写数据成功后，通知Leader;

（3）当Leader收到集群半数以上的节点写成功的消息后，说明该写操作执行成功；
    例如：这里是3台服务器，只要2台Follower服务器写成功就ok
    因为client访问的是server1，所以Leader会告知server1集群中数据写成功；
    
（4）被访问的server1进一步通知client数据写成功，这时，客户端就知道整个写操作成功了。
2.读数据
    相比写数据流程，读数据流程就简单得多；因为每台server中数据一致性都一样，所以随便访问哪台server   读数据就行；没有写数据流程中请求转发、数据同步、成功通知这些步骤。

二、Zookeeper分布式安装部署

（一）集群规划

 在zk01、zk02和zk04三个节点上部署Zookeeper。

（二）集群中的角色和作用

a.Leader角色
Leader服务器是整个zookeeper集群的核心，主要的工作任务有两项 
1. 事物请求的唯一调度和处理者，保证集群事物处理的顺序性 
2. 集群内部各服务器的调度者

b.Follower角色
Follower角色的主要职责是 
1. 处理客户端非事物请求、转发事物请求给leader服务器 
2. 参与事物请求Proposal 的投票（需要半数以上服务器 通过才能通知leader commit数据;Leader发起的提案， 要求Follower投票） 
3. 参与Leader选举的投票

c.Observer角色
Observer 是 zookeeper3.3 开始引入的一个全新的服务器 角色，从字面来理解，该角色充当了观察者的角色。 观察zookeeper集群中的最新状态变化并将这些状态变化 同步到 observer 服务器上。Observer的工作原理与follower角色基本一致，而它和follower角色唯一的不同在于observer 不参与任何形式的投票，包括事物请求 Proposal的投票和leader选举的投票。简单来说，observe服务器只提供非事物请求服务，通常在于不影响集群事物 处理能力的前下提升集群非事物处理的能力.

（三）解压安装

（1）解压Zookeeper安装包到/opt/pro/zk目录下
      tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz -C /opt/pro/zk
（2）拷贝/opt/pro/zk/apache-zookeeper-3.6.2-bin目录内容到另外两台服务器。

（四）配置服务器编号

 （1）在/opt/pro/zk/apache-zookeeper-3.6.2-bin这个目录下创建zkData
       mkdir -p zkData
 （2）在/opt/pro/zk/apache-zookeeper-3.6.2-bin/zkData目录下创建一个myid的文件
       touch myid
       添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码
 （3）编辑myid文件
       vi myid
       在文件中添加与server对应的编号2：
 （4）在其他两台服务器上分别创建zkData目录，并在目录中创建myid文件，myid文件中内容为3、4

（五）配置zoo.cfg文件

（1）在三台服务器上重命名/opt/pro/zk/apache-zookeeper-3.6.2-bin/conf这个目录下的zoo_sample.cfg为zoo.cfg
    mv zoo_sample.cfg zoo.cfg
（2）打开zoo.cfg文件
    vim zoo.cfg
    修改数据存储路径配置
    dataDir=/opt/pro/zk/apache-zookeeper-3.6.2-bin/zkData
    增加如下配置
   #######################cluster##########################
     server.2=192.168.164.136:2888:3888
     server.3=192.168.164.137:2888:3888
     server.4=192.168.164.138:2888:3888
（3）其他两台服务器同样完成以上两步关于zoo.cfg配置文件的操作

（六）集群操作

（1）分别启动Zookeeper
    bin/zkServer.sh start
（2）查看状态
    bin/zkServer.sh status

伪分布式

此处以伪集群为例搭建集群过程。

第一台zookeeper配置

1. 把zookeeper进行解压缩命令名为zk01

2. 在zk01下创建一个data目录

Mkdir data

3. 在data目录下创建一个myid文件,在文件输入1

4. 修改zoo.cfg

 clientPort=2181

 dataDir=/usr/local/zkcluster/zk01/data

 server.1=192.168.18.201:2881:3881

server.2=192.168.18.201:2882:3882

server.3=192.168.18.201:2883:3883

第二台zookeeper配置

1. 把zookeeper进行解压缩命令名为zk02

2. 在zk02下创建一个data目录

Mkdir data

3. 在data目录下创建一个myid文件,在文件输入2

4. 修改zoo.cfg

 clientPort=2182

 dataDir=/usr/local/zkcluster/zk02/data

 server.1=192.168.18.201:2881:3881

server.2=192.168.18.201:2882:3882

server.3=192.168.18.201:2883:3883

第三台zookeeper配置

5. 把zookeeper进行解压缩命令名为zk03

6. 在zk03下创建一个data目录

Mkdir data

7. 在data目录下创建一个myid文件,在文件输入3

8. 修改zoo.cfg

 clientPort=2183

 dataDir=/usr/local/zkcluster/zk03/data

 server.1=192.168.18.201:2881:3881

server.2=192.168.18.201:2882:3882

server.3=192.168.18.201:2883:3883

一、Zookeeper的常用命令

1．启动客户端
bin /zkCli.sh
2．显示所有操作命令
help
3．查看当前znode中所包含的内容
ls /
4．查看当前节点详细数据
ls –s /
5．分别创建2个普通节点
create /shuihu "songjiang"
create /shuihu/liangshan "liubei"
6．获得节点的值
get /shuihu    
7．创建短暂节点
 create -e /shuihu/liangshan "likui"
（1）在当前客户端是能查看到的
  ls /shuihu 
（2）退出当前客户端然后再重启客户端
 quit:退出
 bin/zkCli.sh重新进入
（3）再次查看根目录下短暂节点已经删除
  ls /shuihu
8．创建带序号的节点
（1）先创建一个普通的根节点/shuihu/liangshan
    create /shuihu/liangshan/daxia "yanqing"
    Created /shuihu/liangshan/daxia
（2）创建带序号的节点
    create -s /shuihu/laingshan/yishi "lujunyi"
如果原来没有序号节点，序号从0开始依次递增。如果原节点下已有2个节点，则再排序时从2开始，以此类推。
9．修改节点数据值
   set /shuihu/liangshan "lishishi"
10．节点的值变化监听
   （1）在hadoop104主机上注册监听/shuihu节点数据变化
      get /shuhui watch
    （2）在hadoop103主机上修改/shuihu节点的数据
      set /shuihu "huangdi"
	（3）观察hadoop104主机收到数据变化的监听
    WATCHER::
    WatchedEvent state:SyncConnected type:NodeDataChanged path:/shuihu
11．节点的子节点变化监听（路径变化）
	（1）在hadoop104主机上注册监听/sanguo节点的子节点变化
      ls /liangshan watch
	（2）在hadoop103主机/liangshan节点上创建子节点
      create /shuihu/chaoting "huarong"
	（3）观察hadoop104主机收到子节点变化的监听
        WATCHER::
        WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/shuihu
12．删除节点
 delete /shuihu/chaoting
13．递归删除节点
 deleteall /shuihu/liangshan
14．查看节点状态
stat /shuihu

二、Zookeeper的API应用

（一）．创建一个Maven工程

（二）．添加pom文件

<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->
		<dependency>
			<groupId>org.apache.zookeeper</groupId>
			<artifactId>zookeeper</artifactId>
			<version>3.6.2</version>
		</dependency>
</dependencies>

（三）．log4j.properties文件

需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

（四）.创建ZooKeeper客户端

4.1定义实例化Zookeeper

    private static String connectString =
            "192.168.164.136:2181,192.168.164.137:2181,192.168.164.138:2181";
    private static int sessionTimeout = 60000;
    private ZooKeeper zkClient = null;

    @Before
    public void init() throws Exception {

        zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {

            public void process(WatchedEvent event) {

                // 收到事件通知后的回调函数（用户的业务逻辑）
                System.out.println(event.getType() + "--" + event.getPath());

                // 再次启动监听
                try {
                    zkClient.getChildren("/", true);
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        });
    }

4.2 创建子节点

    // 创建子节点
    @Test
    public void create(){
        // 参数1：要创建的节点的路径； 参数2：节点数据 ； 参数3：节点权限 ；参数4：节点的类型
        try {
            String nodeCreated = zkClient.create("/offcn", "youjiuye".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        } catch (KeeperException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

4.3获取子节点并监听节点变化

    // 获取子节点
    @Test
    public void getChildren() throws Exception {

        List<String> children = zkClient.getChildren("/", true);

        for (String child : children) {
            System.out.println(child);
        }

        // 延时阻塞
        Thread.sleep(Long.MAX_VALUE);
    }

4.4 判断Znode是否存在

    // 判断znode是否存在
    @Test
    public void exist() throws Exception {

        Stat stat = zkClient.exists("/shuihu", false);

        System.out.println(stat == null ? "not exist" : "exist");
    }
avatar
青山
悟已往之不谏 知来者之可追
一言
今日诗词
站点信息
本站访客数 :
本站总访问量 :