千锋教育-做有情怀、有良心、有品质的职业教育机构

400-811-9990
手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

上海
  • 北京
  • 郑州
  • 武汉
  • 成都
  • 西安
  • 沈阳
  • 广州
  • 南京
  • 深圳
  • 大连
  • 青岛
  • 杭州
  • 重庆
当前位置:郑州千锋IT培训  >  行业资讯  >  干货分享 千锋郑州大数据培训学员教你搭建hadoop集群

干货分享 千锋郑州大数据培训学员教你搭建hadoop集群

来源:千锋教育
发布人:Yolanda
时间: 2018-09-17 16:30:00

  时间如白驹过隙,转眼间我们来到千锋郑州大数据培训班学习两个多月了。在这周,我们在熊大老师的带领下,顺利地用三台虚拟机成功地搭建了hadoop集群。然而由于本人笔记本配置吃紧,无奈之下,只好尝试用云服务器搭建hadoop集群。接下来我就给大家分享一下如何在云服务器中搭建集群。需要特别注意的是,千万不要用虚拟机和云服务器混合的方式搭建集群,一定不会成功的,因为服务器的根本无法ping通你的虚拟机。

  首先,使用ssh工具连接上三台远程服务器,并且设置好免密登录,不然,到时候上传文件到hdfs时,会让你输密码输到爆炸!

  接着,配置好配置文件,分别是core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml以及在同名的以env.sh结尾的文件中配置JAVA_HOME地址,其中,在core-site.xml中配置启动namenode的地址,在hdfs-site.xml中配置启动secondarynamenode的地址,在yarn-site.xml中配置启动resourcemanager的地址。

  之后,输入 /usr/local/hadoop-2.7.2/bin/hdfs namenode -format 来格式化namenode,通过start-dfs.sh来启动HDFS,使用start-yarn.sh来启动YARN。

图片16

  Hadoop是Apache的顶级项目,是一个分布式系统框架,具有四大优势:1、高可靠性。因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理;2、高可扩展性。在集群间分配任务数据,可方便的扩展数以千计的节点;3、高效性。并行计算 多台电脑一块分析计算;4、高容错性。自动保存多份副本数据,并且能够自动将失败的任务重新分配。

  或许是规律的作息让我忘记了时间的流逝,亦或许是浓厚的学习氛围陶醉了我,感觉在千锋郑州大数据培训班的一个月时间仿佛只有学校里的一周,甚至更短。相比一阶段,知识学习的逐步深入不得不让我们收起轻快的步伐,反复咀嚼。这一阶段更加侧重于思考,你需要比之前更加明白你的目标,你迈向下一步的步伐,在大方向确定后再具体到小细节,环环相扣,不能丝毫马虎。不过总的来说,要比一阶段的知识网扩充的更大一些,当然也更好玩与有趣一些。很期待第三阶段!

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

猜你喜欢LIKE

大数据培训要花多少钱

2023-04-12

计算机前端怎么学

2023-04-12

大数据都需要学什么?难不难

2023-03-30

最新文章NEW

javaee是前端还是后端,都学什么

2023-03-24

it前端是做什么的

2023-03-24

大数据培训要多久?你了解多少

2023-03-09

相关推荐HOT

更多>>

快速通道 更多>>

最新开班信息 更多>>

网友热搜 更多>>