干货分享 千锋郑州大数据培训学员教你搭建hadoop集群
时间如白驹过隙,转眼间我们来到千锋郑州大数据培训班学习两个多月了。在这周,我们在熊大老师的带领下,顺利地用三台虚拟机成功地搭建了hadoop集群。然而由于本人笔记本配置吃紧,无奈之下,只好尝试用云服务器搭建hadoop集群。接下来我就给大家分享一下如何在云服务器中搭建集群。需要特别注意的是,千万不要用虚拟机和云服务器混合的方式搭建集群,一定不会成功的,因为服务器的根本无法ping通你的虚拟机。
首先,使用ssh工具连接上三台远程服务器,并且设置好免密登录,不然,到时候上传文件到hdfs时,会让你输密码输到爆炸!
接着,配置好配置文件,分别是core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml以及在同名的以env.sh结尾的文件中配置JAVA_HOME地址,其中,在core-site.xml中配置启动namenode的地址,在hdfs-site.xml中配置启动secondarynamenode的地址,在yarn-site.xml中配置启动resourcemanager的地址。
之后,输入 /usr/local/hadoop-2.7.2/bin/hdfs namenode -format 来格式化namenode,通过start-dfs.sh来启动HDFS,使用start-yarn.sh来启动YARN。
Hadoop是Apache的顶级项目,是一个分布式系统框架,具有四大优势:1、高可靠性。因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理;2、高可扩展性。在集群间分配任务数据,可方便的扩展数以千计的节点;3、高效性。并行计算 多台电脑一块分析计算;4、高容错性。自动保存多份副本数据,并且能够自动将失败的任务重新分配。
或许是规律的作息让我忘记了时间的流逝,亦或许是浓厚的学习氛围陶醉了我,感觉在千锋郑州大数据培训班的一个月时间仿佛只有学校里的一周,甚至更短。相比一阶段,知识学习的逐步深入不得不让我们收起轻快的步伐,反复咀嚼。这一阶段更加侧重于思考,你需要比之前更加明白你的目标,你迈向下一步的步伐,在大方向确定后再具体到小细节,环环相扣,不能丝毫马虎。不过总的来说,要比一阶段的知识网扩充的更大一些,当然也更好玩与有趣一些。很期待第三阶段!
相关推荐HOT
更多>>大数据培训学习什么,你了解多少
大数据培训学习什么?你了解多少?随着互联网技术的不断发展,大数据技术开始走进人们的视野,并成为现阶段吃香的技术能力之一。那么熟练掌握大...详情>>
2023-03-16 15:16:01云计算培训怎么样?可靠吗
云计算培训怎么样?可靠吗?靠不靠谱要看你什么要求了,因人而异。但如果你是想通过培训机构快速掌握好技能,然后进入行业,这个一般都没有问题...详情>>
2023-03-07 14:51:00java编程工资多少?主要学哪些内容
java编程工资多少?主要学哪些内容?java程序员的月收入在6000-20000不等,在一线城市有工作经验的java程序员的薪资收入会高一些,在二三线城市...详情>>
2023-02-24 14:56:07it工程培训机构,云计算难学吗
下面给小伙伴们列举一个学习大纲参考: 第一阶段: 零基础入门 1、计算机基础 2、Raid设置与网络服务基础 3、网络基础 第...详情>>
2022-12-01 17:48:04