千锋郑州学员分享如何实现Hadoop集群时间同步
在学习千锋郑州大数据技术已经有段时间了,经过一阶段Java基础的奠基,二阶段Hadoop学习就变得相对简单,接下来我就给大家分享一下如何实现Hadoop集群时间同步。
同步方式
选择一个机器,作为时间服务器(这里选择hadoop01),所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。
所需工具
时间同步服务器有两个:ntpd和ntpdatp,虽然使用二者都能达到时间同步的目的,但是使用之前得弄清楚一个问题,ntpd与ntpdate在更新时间时有什么区别。ntpd不仅仅是时间同步服务器,他还可以做客户端与标准时间服务器进行同步时间,而且是平滑同步,并非ntpdate立即同步,在生产环境中慎用ntpdate,也正如此两者不可同时运行。
操作步骤
1.时间服务器配置
(1)检查ntp是否安装
[root@hadoop01 Desktop]# rpm -qa|grep ntp
如果显示
ntp-4.2.6p5-1.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-1.el6.centos.x86_64
证明ntp已经安装,否则要先安装ntp服务
[root@hadoop01 Desktop]# yum install -y ntp
(2)修改ntp 配置文件
[root@hadoop01 Desktop]# vi /etc/ntp.conf
1. 配置客户端的授权,也就是给指定的机器(客户端)设置访问NTP Server的权限,这是通过restrict配置项实现的
将#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap释放
改为restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
2. 如果集群是在一个封闭的局域网内,可以屏蔽掉默认的server:
将
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
屏蔽
改为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
3.将本机的本地时钟作为时间供给源,这样,即便它失去网络连接,它也可以继续为网络提供服务
增加
server 127.127.1.0
fudge 127.127.1.0 stratum 10
(3)修改/etc/sysconfig/ntpd 文件
[root@hadoop01 Desktop]# vim /etc/sysconfig/ntpd
增加
SYNC_HWCLOCK=yes
(4)重启ntpd
[root@hadoop01 Desktop]# service ntpd restart
(5)设置ntpd开机默认启动
[root@hadoop01 Desktop]# chkconfig mtpd on
完成以上操作以后,使用date命令查看系统时间与当前时间是否对应,如果还不对应,应该是时区的问题
(6)修改时区
[root@hadoop01 Desktop]# tzselect
根据提示选择正确的时区,然后将cp /usr/share/zoneinfo/Asia/Shanghai设置为到/etc/localtime的链接
[root@hadoop01 Desktop]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2.其他机器配置
(1)配置每十分钟与时间服务器同步一次
需要在集群中其他的机器中都编写时间同步脚本,这里以hadoop02为例
[root@hadoop02 Desktop]# crontab -e
*/10 * * * * /usr/sbin/ntpdate hadoop01
重启crond服务
[root@hadoop02 Desktop]# service crond restart
如果需要,同样要修改时区,操作同1.(6)
(2)手动同步
[root@hadoop02 Desktop]# ntpdate hadoop01
Hadoop也已经学到尾声了,但我在做项目时通常都是遇到做到一半就被阻塞了,运行不下去了,亦或者不知道下一步代码怎么敲了,有可能是我自己刚接触对这行了解不够深入,也可能是心思太懒散了,今后要发现问题就解决问题。期待我的学习动力能够持续不断,促使我进步,更加克制自己!
相关推荐HOT
更多>>大数据培训学习什么,你了解多少
大数据培训学习什么?你了解多少?随着互联网技术的不断发展,大数据技术开始走进人们的视野,并成为现阶段吃香的技术能力之一。那么熟练掌握大...详情>>
2023-03-16 15:16:01云计算培训怎么样?可靠吗
云计算培训怎么样?可靠吗?靠不靠谱要看你什么要求了,因人而异。但如果你是想通过培训机构快速掌握好技能,然后进入行业,这个一般都没有问题...详情>>
2023-03-07 14:51:00java编程工资多少?主要学哪些内容
java编程工资多少?主要学哪些内容?java程序员的月收入在6000-20000不等,在一线城市有工作经验的java程序员的薪资收入会高一些,在二三线城市...详情>>
2023-02-24 14:56:07it工程培训机构,云计算难学吗
下面给小伙伴们列举一个学习大纲参考: 第一阶段: 零基础入门 1、计算机基础 2、Raid设置与网络服务基础 3、网络基础 第...详情>>
2022-12-01 17:48:04