郑州大数据课程之Hadoop集群的高可用性知识分享
或许是规律的作息让我忘记了时间的流逝,亦或许是浓厚的学习氛围陶醉了我,在千锋郑州大数据培训班的这段时间里,我学到了很多很多。最近我们所学的内容难度更大,没有老师指导真的很难攻克,这也是我庆幸自己参加培训班的原因。接下来我就给大家分享一下郑州大数据课程中有关Hadoop集群的高可用性知识。
大家都知道HDFS haadmin -failover手动进行故障转移,在该模式下,即使现役NameNode 已经失效,系统也不会自动从现役NameNode转移到待机NameNode,因此我们需要部署HA自动进行故障转移,这也是郑州大数据课程中的重点和难点知识。
自动故障转移为HDFS部署增加了两个新组件:ZooKeeper和ZKFailoverController(ZKFC)进程。ZooKeeper是维护少量协调数据,通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper 的以下功能:
故障检测:集群中的每个NameNode在ZooKeeper中维护了一个持久会话,如果机器崩溃,ZooKeeper中的会话将终止,ZooKeeper通知另一个NameNode 需要触发故障转移。
ZKFC是自动故障转移中的另一个新组件,是ZooKeeper的客户端,也监视和管理NameNode的状态。每个运行 NameNode的主机也运行了一个ZKFC进程,ZKFC负责:
1.健康监测:ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode,只要该NameNode及时地回复健康状态,ZKFC 认为该节点是健康的。如果该节点崩溃,冻结或进入不健康状态,健康监测器标识该节点为非健康的。
2.ZooKeeper会话管理:当本地NameNode是健康的,ZKFC保持一个在ZooKeeper中打开的会话。如果本地 NameNode处于active状态,ZKFC也保持一个特殊的znode锁,该锁使用了ZooKeeper对短暂节点的支持,如果会话终止,锁节点将自动删除。
3.基于 ZooKeeper的选择:如果本地NameNode是健康的,且ZKFC发现没有其它的节点当前持有znode锁,它将为自己获取该锁。如果成功,则它已经赢得了选择,并负责运行故障转移进程以使它的本地NameNode为active。故障转移进程与前面描述的手动故障转移相似,首先如果必要保护之前的现役NameNode,然后本地NameNode转换为active状态。
在学习千锋郑州大数据课程的过程中,你需要付出巨大的努力,毕竟机会往往是给那些有准备的人,越努力越幸运!非常感谢我们的老师,对于基础差的同学他总是非常的有耐心,会帮我们找到快速有效的学习方式,对我们提出的问题也会仔细的解答。
相关推荐HOT
更多>>大数据培训学习什么,你了解多少
大数据培训学习什么?你了解多少?随着互联网技术的不断发展,大数据技术开始走进人们的视野,并成为现阶段吃香的技术能力之一。那么熟练掌握大...详情>>
2023-03-16 15:16:01云计算培训怎么样?可靠吗
云计算培训怎么样?可靠吗?靠不靠谱要看你什么要求了,因人而异。但如果你是想通过培训机构快速掌握好技能,然后进入行业,这个一般都没有问题...详情>>
2023-03-07 14:51:00java编程工资多少?主要学哪些内容
java编程工资多少?主要学哪些内容?java程序员的月收入在6000-20000不等,在一线城市有工作经验的java程序员的薪资收入会高一些,在二三线城市...详情>>
2023-02-24 14:56:07it工程培训机构,云计算难学吗
下面给小伙伴们列举一个学习大纲参考: 第一阶段: 零基础入门 1、计算机基础 2、Raid设置与网络服务基础 3、网络基础 第...详情>>
2022-12-01 17:48:04