Hadoop入门教程(八):DataNode 工作原理
DataNode 工作机制
当 DataNode 启动后会向 NameNode 注册自己,并按周期(1小时)上报自己所有 Block 数据块信息。
每3秒还会和 NameNode 传递心跳包,心跳包中包含了给 DataNode 的命令,如果超过10分钟没有收到 DataNode 的心跳,就认为该节点不可用。
数据完整性校验
为了确保数据传输的正确性,还会进行数据完整性校验,使用的是CRC算法,对数据进行计算产生一个校验位,如果校验位不一致,说明数据块已经损坏,Client会把坏的 Block 和 Block 所在的 DataNode 报告给 NameNode。
NameNode 会把这个 Block 标记为“已损坏”,标记为“已损坏” NameNode 就不会为客户端指向这个 Block,也不会用这个 Block 去复制到其他 DataNode;
NameNode 会把一个好的 Block 复制到另一个 DataNode上;然后 NameNode 删除掉坏的 Block。
DataNode 掉线设置
我们可以设置 hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒,来指定判定 DataNode 死亡的超时时间。
DataNode 新增节点
Hadoop 具有高扩展性,所以扩展 DataNode 数据节点是非常简单的,只需要根据前面文章的教程,配置一台 DataNode,直接启动就行,他会向 NameNode 注册自己,加入集群。
如果新加入的机器数据不平衡,可以执行 sbin/start-balancer.sh 数据块重分布,使得数据块分布均匀。
DataNode 移除节点
如果要从集群中踢出某个 DataNode 节点,可以使用白名单或黑名单的机制,但不允许白名单和黑名单中同时出现同一个主机名称。
白名单
添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。
在 NameNode 的 /opt/module/hadoop-2.10.1/etc/hadoop 目录下创建 dfs.hosts 文件,添加集群里各个节点主机名。注意路径改为你自己的。
在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.10.1/etc/hadoop/dfs.hosts</value>
</property>
将配置文件发送到各个节点的机器上,然后刷新 NameNode、更新ResourceManager节点:
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
黑名单
在黑名单上面的主机都会被强制退出。
在 NameNode 的 /opt/module/hadoop-2.10.1/etc/hadoop 目录下创建 dfs.hosts.exclude 文件,写入要踢出的节点主机名。注意路径改为你自己的。
在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts.exclude 属性:
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-2.10.1/etc/hadoop/dfs.hosts.exclude</value>
</property>
刷新NameNode、刷新ResourceManager:
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役。
商业用途请联系作者获得授权。
版权声明:本文为博主「任霏」原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接及本声明。
相关推荐
猜你还喜欢这些内容,不妨试试阅读一下评论与留言
以下内容均由网友提交发布,版权与真实性无法查证,请自行辨别。微信订阅号
扫码关注「任霏博客」微信订阅号- 大佬 引入jar包那里的 driver class 怎么选的?
- 我也遇到了这个问题,已经解决了,在此分享一下 1、宿主机也要创建kingbase的用户和用户组,并且要查看一下用户和用户组的ID(这个很重要) 2、把data目录的用户和用户组设置为kingbase 3、先不要把data路径挂载到宿主机上,这时就可以正常启动,启动后进入容器,查看一下容器内的kingbase的用户和用户组ID是多少,和第一步的ID是否一致,如果ID一致,那正常挂载目录就行;如果ID不一致,那就需要修改Dockerfile文件,在构建镜像时,修改容器内的用户和用户组ID,必须和宿主机的保持一致。然后重新构建镜像,就可以正常挂载宿主机目录了 4、其实直接修改宿主机的用户和用户组ID也是可以的,但是容器内的ID一般是1000,但是宿主机的这个ID很可能已经被占用了,无法修改,就只能修改容器内的ID
- 接口已经允许跨域请求,也就是说你可以在你的页面上调用,获取用户的公网 IP。 如果你还需要其他需求,可以提交 Issue 给我。
- V008R003C002B0320 这个对应的jdbc链接驱动你在哪里找到的?我也遇到了这个问题。
- WARNING: max_connections should be less than orequal than 10 (restricted by license) HINT: the value of max_connect is set 10 WARNING: max_connections should be less than orequal than 10 (restricted by license) HINT: the value of max_connect is set 10 kingbase: superuser_reserved_connections must be less than max_connections 我按照文档修改了以后,不知道如何重启。
- 然后把数字都改成 1 再启动。 如何重新启动?
- ksql: could not connect to server: No such file or directory Is the server running locally and accepting connections on Unix domain socket "/tmp/.s.KINGBASE.54321"
- 进入容器查看一下日志,是不是启动失败了,日志文件在:/opt/kingbase/logfile
- ksql: could not connect to server: No such file or directory Is the server running locally and accepting connections on Unix domain socket "/tmp/.s.KINGBASE.54321"?
- 先通过 docker exec -it 容器名/id /bin/bash 进入容器,然后在容器中使用 ksql 客户端进行连接数据库:/opt/kingbase/Server/bin/ksql -U system test
- 免费.ml域名10年委托合同到期被马里共和国收回域名经营权
- 从极狐Gitlab看各种中间件技术选型
- 时隔十年首次收到 Google AdSense 的付款
- ga域名被加蓬共和国从Freenom公司手中收回域名经营权
- Freenom 被 Meta(Facebook) 起诉导致暂停 .tk/.ga/.ml/.cf/.gq 等新域名注册
- 生花妙笔信手来 – 基于 Amazon SageMaker 使用 Grounded-SAM 加速电商广告素材生成 [1]
- github.renfei.net 不再完整代理 Github 页面改为代理指定文件
- 优雅的源代码管理(三):本地优雅的使用 Git Rebase 变基
- 优雅的源代码管理(二):Git 的工作原理
- 优雅的源代码管理(一):版本控制系统 VCS(Version Control System)与软件配置管理 SCM(Software Configuration Management)