2021-03-25 10:45:51

Zookeeper入门教程(一):Zookeeper简介与安装教程


Zookeeper入门教程(一):Zookeeper简介与安装教程

什么是Zookeeper

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。

它可以接受观察者的注册订阅,当数据发生改变时就可以通知观察者,你可以理解为 ZooKeeper = 文件系统+通知机制。

ZooKeeper 是由一个领导者(Leader)和多个跟随者(Follower)注册的集群,只要有半数以上的节点存活,就可以正常提供服务,同时还可以保证全局数据一致性、请求顺序执行、更新原子性等特点。

它的数据结构和 Unix 系统很像,由根开始,下面有子节点,像文件夹一样一级一级的排列下去,每个Node节点默认能存储 1MB 的数据。

Zookeeper官网:https://zookeeper.apache.org

Zookeeper本地安装教程

必要条件

在开始之前,需要先安装 Java 运行环境 JDK,此处不在赘述,默认大家已经配置好了 JDK,这个是基础内容,如果不会的同学请先搜索安装 JDK 的教程。下载Zookeeper并解压到本地文件夹。

修改配置

我在我自己电脑上已经下载Zookeeper并解压到了/Users/renfei/apache-zookeeper-3.6.2-bin,配置文件就在 apache-zookeeper-3.6.2-bin/conf 里面,复制 zoo_sample.cfg 文件为 zoo.cfg,这个 zoo.cfg 就是我们要修改的配置文件了。

主要修改数据目录地址:dataDir=/Users/renfei/apache-zookeeper-3.6.2-bin/zkData,这个改成你自己的本地路径。

其他配置说明

  • tickTime =2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒。服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,并且设置最小的session超时时间为两倍心跳时间。

  • initLimit =10:LF初始通信时限。集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限。

  • syncLimit =5:LF同步通信时限。集群中Leader与Follower之间的最大响应时间单位,假如响应超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。

  • clientPort =2181:客户端连接端口

启动Zookeeper

执行:

bin/zkServer.sh start

启动客户端

bin/zkCli.sh

Zookeeper分布式安装教程

必要条件

在前面的系列教程中《Hadoop入门教程(四):Hadoop 完全分布式集群环境》我们已经搭建了集群,我们现在就往集群中安装Zookeeper,所以搭建集群的相关事项就不再赘述了。同样是下载Zookeeper到集群并解压到集群机器的本地文件夹。

修改配置

与本地运行不同的是,这里我们需要先建立好数据文件夹,例如:mkdir /Users/renfei/apache-zookeeper-3.6.2-bin/zkData,然后再创建一个 myid 文件:touch myid,然后在这个文件中写入服务器的编号。

同样复制 apache-zookeeper-3.6.2-bin/conf/zoo_sample.cfg 文件为 zoo.cfg,这个 zoo.cfg 就是我们要修改的配置文件了。

修改数据目录:dataDir=/Users/renfei/apache-zookeeper-3.6.2-bin/zkData,这个改成你自己的本地路径。然后增加如下配置,请根据你的集群环境修改:

server.1=n1.renfei.net:2888:3888
server.2=n2.renfei.net:2888:3888
server.3=n3.renfei.net:2888:3888

格式是:server.A=B:C:D

  • A是一个数字,表示这个是第几号服务器。集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

  • B是这个服务器的地址;

  • C是这个服务器Follower与集群中的Leader服务器交换信息的端口;

  • D是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

启动Zookeeper

在集群环境中,我们需要分别启动各个节点的 Zookeeper:bin/zkServer.sh start

客户端命令行

命令基本语法功能描述
help显示所有操作命令
ls path [watch]使用 ls 命令来查看当前znode中所包含的内容
ls2 path [watch]查看当前节点数据并能看到更新次数等数据
create普通创建
-s含有序列
-e临时(重启或者超时消失)
get path [watch]获得节点的值
set设置节点的具体值
stat查看节点状态
delete删除节点
rmr递归删除节点

对于程序员 Linux 操作应该不用多说了吧,按照上面的语法或者官方文档就可以操作了,大多数情况下咱们都是编程操作 ZK,这个就不多说了。



商业用途请联系作者获得授权。
版权声明:本文为博主「任霏」原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://www.renfei.net/posts/1003476
评论与留言
以下内容均由网友提交发布,版权与真实性无法查证,请自行辨别。

本站有缓存策略,时间约2小时后能看到您的评论。本站使用自动审核机制,如果您的内容包含广告/谩骂/恐怖/暴力/涉政等不和谐内容将无法展示!


本站有缓存策略,时间约2小时后能看到您的评论。本站使用自动审核机制,如果您的内容包含广告/谩骂/恐怖/暴力/涉政等不和谐内容将无法展示!

关注任霏博客
扫码关注「任霏博客」微信订阅号
微博:任霏博客网
Twitter:@renfeii
Facebook:任霏
最新留言 不更新? 优先级低的并不代表一定要等到优先级高的运行完才能运行,只是cpu分配的资源少了而已。 /lib64/ld-linux-x86-64.so.2: No such file or directory 报了这个错误,怎么解决呢 对于一个布道 DevOps 多年的选手来讲,看到这个报告,还是想继续布道布道。虽然是各种对比哈,但是我感觉与 DevOps 太像了(可能是职业病犯了哈)。首先声明本人不是GitLab 用户(因为不免费,没法薅羊毛啊),本人是 GitHub 忠实用户。 首先,你这是田忌赛马的对比,中文对比一事,着实有点可笑 1 土生土长和外来户能立马拉到同一个起跑线上吗? 2 一个真正的开发者应该去提升自己的英语能力,而不是拿全部是中文文档说事。大家都知道现在开源非常热,开发者是开源的主力军,如果要贡献优秀的开源项目(诸如Linux 内核,Kubernetes),英语就是个硬门槛。如果我是你,我倒希望公司内部的系统是英文的,最起码能让我锻炼英语,在看开源项目文档的时候不至于看不懂,提 PR 的时候不至于提交代码的内容描述不清楚而没法被 Merge。 其次,阿里云效、Coding 大家都知道背后站的是谁,很容易造成厂商绑定,现在很多企业都希望不要被厂商绑定。 再者,有一个点需要明白,GitLab 是一个 DevOps 平台,什么叫做 DevOps 平台(DevOps 走到现在,确切的说应该叫做 DevSecOps)?就是覆盖了软件开发生命周期全阶段的,从项目管理到代码托管到安全再到日志监控、甚至包含现在的云原生能力。不仅仅是说一个 CI/CD 就能概括的了的。这一点是 DevOps 布道的真正误区,我见过太多了,我在这儿再布道一哈,CI/CD 不等于 DevOps,他只是 DevOps 落地实践的核心能力。仅凭借一个 CI/CD 能有现成模版就判断出哪个好坏,过于牵强了吧。相信大家真正到项目用的时候,模版是满足不了要求的吧,毕竟大家都很特性化。 最后,还是一个很热的话题,开源,open source。GitLab 是开源的,Coding 和 云效这方面我没看到相关的开源内容(可能是我孤陋寡闻)。大家可以看看国内有多少用 GitLb 的,GitLab 的 CE 版,然后私有化部署,就是很多公司的代码托管 + DevOps 解决方案。 个人愚见,做一些对比报告的时候,还是先需要明白这个产品的定位,去深入挖掘一些真正有意义的对比,这样的对比报告才能有意义。作为一个常年写博客、文章的人来说。你写的每个字、每篇文章,你要想到你的思想会影响到别人。有可能因为你的片面之词,让别人错失一些学习的好机会。 docker run 那一长串后,出来一个字符串,然后去 docker containers 下面看 显示 exited(1);logs 下就一行错误 initdb failed 感谢🙏,第一个问题是空格的问题应该,我逐字敲完后可以构建了.第二个问题是我docker环境的问题,docker更新为最新版后需要重置配置文件.现已经正常使用,再次感谢您的分享和您的细心解答,期待下次相遇😄 还有一个问题可以请教下吗?就是我在容器里建文件夹没有权限,su root后密码不知道是多少,sudo mkdir xxx 提示我,没有sudo命令,请问有好的解决方法吗?谢谢解答 -v 后面可以指定文件吗 我的也是报错,还有。我执行了这个:@localhost kingbase-es-v8-r3-docker % docker run -d --name kingbase -p 54321:54321 -e SYSTEM_PWD=SYSTEM -v /opt/kingbase/data:/opt/kingbase/data -v /opt/kingbase:/opt/kingbase/Server/bin kingbase:v8r3 docker: 'run -d --name kingbase -p 54321:54321 -e SYSTEM_PWD=SYSTEM -v /opt/kingbase/data:/opt/kingbase/data -v /opt/kingbase:/opt/kingbase/Server/bin kingbase:v8r3' is not a docker command. See 'docker --help' 麻烦帮忙看下,是不是我写的命令有问题,还是版本问题,谢谢啦 请问我build的时候一直报错,是资源没了吗?failed to solve with frontend dockerfile.v0: failed to create LLB definition: failed to do request: Head "https://reg-mirror.qiniu.com/v2/library/centos/manifests/7?ns=docker.io": Moved Permanently 能不能在代码那里详细解释一下啊,没完全懂呀 en