Hadoop入门教程(八):DataNode 工作原理
DataNode 工作机制
当 DataNode 启动后会向 NameNode 注册自己,并按周期(1小时)上报自己所有 Block 数据块信息。
每3秒还会和 NameNode 传递心跳包,心跳包中包含了给 DataNode 的命令,如果超过10分钟没有收到 DataNode 的心跳,就认为该节点不可用。
数据完整性校验
为了确保数据传输的正确性,还会进行数据完整性校验,使用的是CRC算法,对数据进行计算产生一个校验位,如果校验位不一致,说明数据块已经损坏,Client会把坏的 Block 和 Block 所在的 DataNode 报告给 NameNode。
NameNode 会把这个 Block 标记为“已损坏”,标记为“已损坏” NameNode 就不会为客户端指向这个 Block,也不会用这个 Block 去复制到其他 DataNode;
NameNode 会把一个好的 Block 复制到另一个 DataNode上;然后 NameNode 删除掉坏的 Block。
DataNode 掉线设置
我们可以设置 hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒,来指定判定 DataNode 死亡的超时时间。
DataNode 新增节点
Hadoop 具有高扩展性,所以扩展 DataNode 数据节点是非常简单的,只需要根据前面文章的教程,配置一台 DataNode,直接启动就行,他会向 NameNode 注册自己,加入集群。
如果新加入的机器数据不平衡,可以执行 sbin/start-balancer.sh 数据块重分布,使得数据块分布均匀。
DataNode 移除节点
如果要从集群中踢出某个 DataNode 节点,可以使用白名单或黑名单的机制,但不允许白名单和黑名单中同时出现同一个主机名称。
白名单
添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。
在 NameNode 的 /opt/module/hadoop-2.10.1/etc/hadoop 目录下创建 dfs.hosts 文件,添加集群里各个节点主机名。注意路径改为你自己的。
在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.10.1/etc/hadoop/dfs.hosts</value>
</property>
将配置文件发送到各个节点的机器上,然后刷新 NameNode、更新ResourceManager节点:
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
黑名单
在黑名单上面的主机都会被强制退出。
在 NameNode 的 /opt/module/hadoop-2.10.1/etc/hadoop 目录下创建 dfs.hosts.exclude 文件,写入要踢出的节点主机名。注意路径改为你自己的。
在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts.exclude 属性:
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-2.10.1/etc/hadoop/dfs.hosts.exclude</value>
</property>
刷新NameNode、刷新ResourceManager:
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役。
商业用途请联系作者获得授权。
版权声明:本文为博主「任霏」原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接及本声明。
相关推荐
猜你还喜欢这些内容,不妨试试阅读一下评论与留言
以下内容均由网友提交发布,版权与真实性无法查证,请自行辨别。微信订阅号
扫码关注「任霏博客」微信订阅号- 你好,我想问一下如果是分析型的数据库要怎么制作docker镜像呢 是修改V008R003C002B0320版本号吗
- 可以的,我也正在开发分享的程序,可以邮件或群联系我都可以,关于页面里有联系方式:https://www.renfei.net/page/about 。
- 有破解软件的需要可以私下联系您吗?
- 您好,手机APP只是个客户端,用于数据呈现展示,数据均保存在服务器上,只留个APP没有任何用处,无能为力哦。
- 老哥 看你弄了这么多软件好厉害啊。 我有个软件 我买过几个小会员 没用几天 然后商家跑路了,软件服务器关闭了,连不上去 用不了。 你能做成一个打补丁版本可以本地用的么? 方便看下么?https://haodezhe.lanzouw.com/iD0f30h9joza 谢谢老哥!
- 您好,由于版权投诉和我国知识产权法的完善,我已经下架所有破解软件的下载链接了。
- 请问怎么下载呀
- 我保存的License在:https://gitlab.com/renfei/KingbaseES-V8-R3/-/tree/master/License ,开发版是长期有效的,只不过限制连接数,现在官网好像已经下线 V8R3 的下载页面了,其他版本我也不确定是否过期
- 这个版本的license有没有
- 序列号长度不对呀