Hadoop入门教程(八):DataNode 工作原理
DataNode 工作机制
当 DataNode 启动后会向 NameNode 注册自己,并按周期(1小时)上报自己所有 Block 数据块信息。
每3秒还会和 NameNode 传递心跳包,心跳包中包含了给 DataNode 的命令,如果超过10分钟没有收到 DataNode 的心跳,就认为该节点不可用。
数据完整性校验
为了确保数据传输的正确性,还会进行数据完整性校验,使用的是CRC算法,对数据进行计算产生一个校验位,如果校验位不一致,说明数据块已经损坏,Client会把坏的 Block 和 Block 所在的 DataNode 报告给 NameNode。
NameNode 会把这个 Block 标记为“已损坏”,标记为“已损坏” NameNode 就不会为客户端指向这个 Block,也不会用这个 Block 去复制到其他 DataNode;
NameNode 会把一个好的 Block 复制到另一个 DataNode上;然后 NameNode 删除掉坏的 Block。
DataNode 掉线设置
我们可以设置 hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒,来指定判定 DataNode 死亡的超时时间。
DataNode 新增节点
Hadoop 具有高扩展性,所以扩展 DataNode 数据节点是非常简单的,只需要根据前面文章的教程,配置一台 DataNode,直接启动就行,他会向 NameNode 注册自己,加入集群。
如果新加入的机器数据不平衡,可以执行 sbin/start-balancer.sh 数据块重分布,使得数据块分布均匀。
DataNode 移除节点
如果要从集群中踢出某个 DataNode 节点,可以使用白名单或黑名单的机制,但不允许白名单和黑名单中同时出现同一个主机名称。
白名单
添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。
在 NameNode 的 /opt/module/hadoop-2.10.1/etc/hadoop 目录下创建 dfs.hosts 文件,添加集群里各个节点主机名。注意路径改为你自己的。
在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.10.1/etc/hadoop/dfs.hosts</value>
</property>
将配置文件发送到各个节点的机器上,然后刷新 NameNode、更新ResourceManager节点:
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
黑名单
在黑名单上面的主机都会被强制退出。
在 NameNode 的 /opt/module/hadoop-2.10.1/etc/hadoop 目录下创建 dfs.hosts.exclude 文件,写入要踢出的节点主机名。注意路径改为你自己的。
在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts.exclude 属性:
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-2.10.1/etc/hadoop/dfs.hosts.exclude</value>
</property>
刷新NameNode、刷新ResourceManager:
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役。
商业用途请联系作者获得授权。
版权声明:本文为博主「任霏」原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接及本声明。
相关推荐
猜你还喜欢这些内容,不妨试试阅读一下评论与留言
以下内容均由网友提交发布,版权与真实性无法查证,请自行辨别。微信订阅号
扫码关注「任霏博客」微信订阅号- 你写得非常清晰明了,让我很容易理解你的观点。
- 感谢分享!拿走了~
- 您是说 UCClient 类接收来自Discuz的UCenter的消息吧,请求是来自 Discuz 的 UCenter吗?code 为 null 说明请求URL地址中没有 code 参数 (?code=xxx) ,确定是 UCenter 发起的请求吗?
- String code = request.getParameter("code"); code一直是null 这是为什么啊
- 你好,我想问一下如果是分析型的数据库要怎么制作docker镜像呢 是修改V008R003C002B0320版本号吗
- 可以的,我也正在开发分享的程序,可以邮件或群联系我都可以,关于页面里有联系方式:https://www.renfei.net/page/about 。
- 有破解软件的需要可以私下联系您吗?
- 您好,手机APP只是个客户端,用于数据呈现展示,数据均保存在服务器上,只留个APP没有任何用处,无能为力哦。
- 老哥 看你弄了这么多软件好厉害啊。 我有个软件 我买过几个小会员 没用几天 然后商家跑路了,软件服务器关闭了,连不上去 用不了。 你能做成一个打补丁版本可以本地用的么? 方便看下么?https://haodezhe.lanzouw.com/iD0f30h9joza 谢谢老哥!
- 您好,由于版权投诉和我国知识产权法的完善,我已经下架所有破解软件的下载链接了。
- 生花妙笔信手来 – 基于 Amazon SageMaker 使用 Grounded-SAM 加速电商广告素材生成 [1]
- github.renfei.net 不再完整代理 Github 页面改为代理指定文件
- 优雅的源代码管理(三):本地优雅的使用 Git Rebase 变基
- 优雅的源代码管理(二):Git 的工作原理
- 优雅的源代码管理(一):版本控制系统 VCS(Version Control System)与软件配置管理 SCM(Software Configuration Management)
- ChatGPT 开发商 OpenAI 买下极品域名 AI.com
- 火爆的 AI 人工智能 ChatGPT 国内注册教程、使用方式和收费标准
- 解决 SpringCloud 中 bootstrap.yml 不识别 @activatedProperties@ 参数
- Cron表达式书写教程搞定Linux、Spring、Quartz的定时任务
- 阿里云香港可用区C发生史诗级故障