2021-03-18 10:53:41

Hadoop入门教程(八):DataNode 工作原理


Hadoop入门教程(八):DataNode 工作原理

DataNode 工作机制

当 DataNode 启动后会向 NameNode 注册自己,并按周期(1小时)上报自己所有 Block 数据块信息。

每3秒还会和 NameNode 传递心跳包,心跳包中包含了给 DataNode 的命令,如果超过10分钟没有收到 DataNode 的心跳,就认为该节点不可用。

数据完整性校验

为了确保数据传输的正确性,还会进行数据完整性校验,使用的是CRC算法,对数据进行计算产生一个校验位,如果校验位不一致,说明数据块已经损坏,Client会把坏的 Block 和 Block 所在的 DataNode 报告给 NameNode。

NameNode 会把这个 Block 标记为“已损坏”,标记为“已损坏” NameNode 就不会为客户端指向这个 Block,也不会用这个 Block 去复制到其他 DataNode;

NameNode 会把一个好的 Block 复制到另一个 DataNode上;然后 NameNode 删除掉坏的 Block。

DataNode 掉线设置

我们可以设置 hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒,来指定判定 DataNode 死亡的超时时间。

DataNode 新增节点

Hadoop 具有高扩展性,所以扩展 DataNode 数据节点是非常简单的,只需要根据前面文章的教程,配置一台 DataNode,直接启动就行,他会向 NameNode 注册自己,加入集群。

如果新加入的机器数据不平衡,可以执行 sbin/start-balancer.sh 数据块重分布,使得数据块分布均匀。

DataNode 移除节点

如果要从集群中踢出某个 DataNode 节点,可以使用白名单或黑名单的机制,但不允许白名单和黑名单中同时出现同一个主机名称。

白名单

添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。

在 NameNode 的 /opt/module/hadoop-2.10.1/etc/hadoop 目录下创建 dfs.hosts 文件,添加集群里各个节点主机名。注意路径改为你自己的。

在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>
    <name>dfs.hosts</name>
    <value>/opt/module/hadoop-2.10.1/etc/hadoop/dfs.hosts</value>
</property>

将配置文件发送到各个节点的机器上,然后刷新 NameNode、更新ResourceManager节点:

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

黑名单

在黑名单上面的主机都会被强制退出。

在 NameNode 的 /opt/module/hadoop-2.10.1/etc/hadoop 目录下创建 dfs.hosts.exclude 文件,写入要踢出的节点主机名。注意路径改为你自己的。

在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts.exclude 属性:

<property>
    <name>dfs.hosts.exclude</name>
    <value>/opt/module/hadoop-2.10.1/etc/hadoop/dfs.hosts.exclude</value>
</property>

刷新NameNode、刷新ResourceManager:

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役。


商业用途请联系作者获得授权。
版权声明:本文为博主「任霏」原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://www.renfei.net/posts/1003467
评论与留言
以下内容均由网友提交发布,版权与真实性无法查证,请自行辨别。

本站有缓存策略,时间约2小时后能看到您的评论。本站使用自动审核机制,如果您的内容包含广告/谩骂/恐怖/暴力/涉政等不和谐内容将无法展示!


本站有缓存策略,时间约2小时后能看到您的评论。本站使用自动审核机制,如果您的内容包含广告/谩骂/恐怖/暴力/涉政等不和谐内容将无法展示!