千锋教育-做有情怀、有良心、有品质的职业教育机构

400-811-9990
手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

上海
  • 北京
  • 郑州
  • 武汉
  • 成都
  • 西安
  • 沈阳
  • 广州
  • 南京
  • 深圳
  • 大连
  • 青岛
  • 杭州
  • 重庆
当前位置:郑州千锋IT培训  >  行业资讯  >  郑州大数据课程之Hadoop集群的高可用性知识分享

郑州大数据课程之Hadoop集群的高可用性知识分享

来源:千锋教育
发布人:Yolanda
时间: 2019-04-03 10:23:00

  或许是规律的作息让我忘记了时间的流逝,亦或许是浓厚的学习氛围陶醉了我,在千锋郑州大数据培训班的这段时间里,我学到了很多很多。最近我们所学的内容难度更大,没有老师指导真的很难攻克,这也是我庆幸自己参加培训班的原因。接下来我就给大家分享一下郑州大数据课程中有关Hadoop集群的高可用性知识。

  大家都知道HDFS haadmin -failover手动进行故障转移,在该模式下,即使现役NameNode 已经失效,系统也不会自动从现役NameNode转移到待机NameNode,因此我们需要部署HA自动进行故障转移,这也是郑州大数据课程中的重点和难点知识。

  自动故障转移为HDFS部署增加了两个新组件:ZooKeeper和ZKFailoverController(ZKFC)进程。ZooKeeper是维护少量协调数据,通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper 的以下功能:

  故障检测:集群中的每个NameNode在ZooKeeper中维护了一个持久会话,如果机器崩溃,ZooKeeper中的会话将终止,ZooKeeper通知另一个NameNode 需要触发故障转移。

图片16

  ZKFC是自动故障转移中的另一个新组件,是ZooKeeper的客户端,也监视和管理NameNode的状态。每个运行 NameNode的主机也运行了一个ZKFC进程,ZKFC负责:

  1.健康监测:ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode,只要该NameNode及时地回复健康状态,ZKFC 认为该节点是健康的。如果该节点崩溃,冻结或进入不健康状态,健康监测器标识该节点为非健康的。

  2.ZooKeeper会话管理:当本地NameNode是健康的,ZKFC保持一个在ZooKeeper中打开的会话。如果本地 NameNode处于active状态,ZKFC也保持一个特殊的znode锁,该锁使用了ZooKeeper对短暂节点的支持,如果会话终止,锁节点将自动删除。

  3.基于 ZooKeeper的选择:如果本地NameNode是健康的,且ZKFC发现没有其它的节点当前持有znode锁,它将为自己获取该锁。如果成功,则它已经赢得了选择,并负责运行故障转移进程以使它的本地NameNode为active。故障转移进程与前面描述的手动故障转移相似,首先如果必要保护之前的现役NameNode,然后本地NameNode转换为active状态。

  在学习千锋郑州大数据课程的过程中,你需要付出巨大的努力,毕竟机会往往是给那些有准备的人,越努力越幸运!非常感谢我们的老师,对于基础差的同学他总是非常的有耐心,会帮我们找到快速有效的学习方式,对我们提出的问题也会仔细的解答。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

猜你喜欢LIKE

大数据培训要花多少钱

2023-04-12

计算机前端怎么学

2023-04-12

大数据都需要学什么?难不难

2023-03-30

最新文章NEW

javaee是前端还是后端,都学什么

2023-03-24

it前端是做什么的

2023-03-24

大数据培训要多久?你了解多少

2023-03-09

相关推荐HOT

更多>>

快速通道 更多>>

最新开班信息 更多>>

网友热搜 更多>>