CDH 安装分析

哈哈 阅读:262 2020-02-20 19:08:15 评论:0

CDH 安装

市场上免费大数据框架主要有三个版本,原生的 Apache 版本,Cloudera(https://www.cloudera.com/) 公司研发的(Cloudera Distribution Hadoop,简称“CDH”)CDH 版本,也是市场上使用最多的,Hortonworks 版本(Hortonworks Data Platform,简称“HDP”)

cm-cloudera managerment 下载地址:https://www.cloudera.com/downloads/manager/5-16-1.html
cdh-5.16.1 载地址:http://archive.cloudera.com/cdh5/parcels/5.16.1/

一、系统环境搭建

(1) 网络配置

vi /etc/hosts

(2) SSH 免密码登录

# 所有设备生成公钥 
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 
# 直接远程授权,这样 master 通过 ssh 就可以远程登录本机了,所有设备(包括自己)均拷贝公钥到 master 
ssh-copy-id [email protected] 
# 将 master 的公钥分发到所有设备上,这样所有的设备就互相互信完成了 
scp ~/.ssh/authorized_keys [email protected]

更多 SSH 免密码登录详见:https://www.cnblogs.com/binarylei/p/9049149.html

(3) 关闭防火墙和 SELINUX

# 关闭防火墙 
systemctl stop firewalld 
systemctl disable firewalld     # 永久关闭防火墙 
 
# 关闭 SELINUX 
setenforce 0 
vi /etc/selinux/config  (SELINUX=disabled)

(4) 安装 JDK

(5) 安装 MySQL

MySQL 版本选择 5.6,安装详见:https://www.cnblogs.com/binarylei/p/9026422.html

(6) ntp 时间同步

yum install ntp                    # 安装 ntp 
systemctl start ntpd               # 启动 
systemctl enable ntpd              # 设置开机自启动

ntp 时间同步配置:修改 /etc/ntp.conf 文件,注释掉外网时间服务器,添加本地服务器即可

vi /etc/ntp.conf 
server 192.168.180.190                  # 添加此行 
#server 0.centos.pool.ntp.org iburst    # 以下四行注释掉 
#server 1.centos.pool.ntp.org iburst 
#server 2.centos.pool.ntp.org iburst 
#server 3.centos.pool.ntp.org iburst

(7) 下载依赖包

CentOS 需要安装以下依赖,如果是其它操作系统可能不一样

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb 

二、Cloudera Manager Service 安装

(1) 安装 Cloudera Manager Server 和 Agent

mkdir -p /opt/cloudera-manager 
tar -zxvf cloudera-manager-el7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/ 
 
# 修改 CM 的配置文件  
vi /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent 
server_host=CDH-01 
server_port=7182 
 
# 分发 
scp -r /opt/cloudera-manager [email protected]:/opt 
scp -r /opt/cloudera-manager [email protected]:/opt

(2) 创建用户(用户名固定 cloudera-scm)

useradd  
  --system                                              # 表示创建的是一个系统用户 
  --no-create-home                                      # 不在创建主目录 
  --shell=/bin/false                                    # 不作用服务器的登陆用户   
  --comment "Cloudera SCM User"                         # 备注  
  cloudera-scm                                          # 用户名

验证:

cat /etc/passwd | grep  cloudera-scm

(3) 配置 CM Server 数据库

# 执行下面的命令后会创建 scm 的数据库和 scm 的账号 
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh  
-h CDH-01 -uroot -p123456 --scm-host CDH-01 mysql scm scm scm    

报错: 缺少驱动包 java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

解决:

将驱动包放入当前服务器的 /usr/share/java 目录下,将分发到其到节点上。CM 管理的集群(hive sqoop)都会默认到 /usr/share/java 下找驱动包。 注意:mysql-connector-java.jar 名称不能更改

(3) 创建 Parcel 源

1)创建目录  
    mkdir -p /opt/cloudera/parcel-repo   # 在 server上创建  
    mkdir -p /opt/cloudera/parcels       # 在所有的 agent 节点上创建  
    mkdir -p /opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent    # 在所有的 agent 节点上创建   
2)将 CDH 的源移动到 sever 的 parcel-repo 目录下   
3)修改校验码文件名称  
    mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha 
4)修改 parcel-repo parcels 目录的所属人   
    chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/   # 在 server 上 
    chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels        # 在 agent 上

(4) 启动 CM Server 和 Agent

# 启动 server 和 agent 服务 
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start 
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start 

日志查看 tail –f /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-server/cloudera-scm-server.log
web 页面 192.168.180.100:7180


每天用心记录一点点。内容也许不重要,但习惯很重要!

标签:hadoop
声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

发表评论
搜索
关注我们

扫一扫关注我们,了解最新精彩内容