关于大数据中的Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,下面集中总结一些技术要点,希望对大家能够有所帮助。ps:以下不涉及完全分布式,只说明单机版和伪分布式。
一、hadoop本地模式和伪分布式模式之间的区别
1.单机(非分布式)模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。
2.伪分布式运行模式。这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份。
从分布式应用的角度来说,集群中的结点由一个JobTracker和若干个TaskTracker组成,JobTracker负责任务的调度,TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上,这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。一个机器上,既当namenode,又当datanode,或者说既是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算,故称为"伪分布式"。
二,hadoop本地模式的搭建
1.首先需要一台客户机。
2.安装jdk。
1)首先在客户机根目录root文件夹下建立tools文件夹:root> mkdir tools。
2)用远程连接工具连接客户机,拖拽压缩包到客户机 root/tools/目录下
3) 解压jdk到/etc/local下:tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/
3.安装hadoop
1) 拖拽压缩包到客户机root/rools 目录下。
2)解压hadoop到etc/local/下:tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/。
4.配置环境变量
5. hadoop version
三、hadoop伪分布式模式的搭建(以上五步到配置环境搭建成功为基础)
配置集群
1)配置:hadoop-env.sh。Linux 系统中获取jdk 的安装路径:/usr/local/jdk1.8.0_15并修改JAVA_HOME 路径为:export JAVA_HOME=/opt/module/jdk1.8.0_144
2)配置:core-site.xml
3)配置:hdfs-site.xml
4)启动集群。格式化namenode(第一次启动时格式化,以后就不要总格式化) [qianfeng@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode –format。启动namenode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode。启动datanode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
5)查看集群是否成功。[qianfeng@hadoop101 hadoop-2.7.2]$ jps。13586 NameNode。13668 DataNode。13786 Jps。//正常应该启动这三个进程
6)查看产生的log日志。当前目录:/usr/local/hadoop-2.7.2/logs>ls。
以上步骤即为伪分布式搭建成功!
相关文章
了解千锋动态
关注千锋教育服务号
扫一扫快速进入
千锋移动端页面
扫码匿名提建议
直达CEO信箱