0323-如何在CDH5.14中安装CDSW1.3

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：

https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1.文档编写目的

Cloudera在2018年1月26日发布了CDH5.14版本，5.14的新功能可以参考前一篇文章《

CDH5.14和CM5.14的新功能

》，在CDH5.13版本以后支持CDSW的Parcel安装，本篇文章就主要讲述如何通过CM5.14.3使用Parcel包安装CDSW1.3。

CDSW需要DNS服务和泛域名解析，可以参考Fayson以前的文章《

如何在Windows Server2008搭建DNS服务并配置泛域名解析

》，《

如何利用Dnsmasq构建小型集群的本地DNS服务器

》，《

如何在Windows Server2012搭建DNS服务并配置泛域名解析

》，《

如何在RedHat6上使用Bind搭建DNS服务

》和《

如何在RedHat7上使用Bind搭建DNS服务

》，CDSW1.3的新功能可以参考《

CDSW1.3的新功能

》。

• 内容概述

1.部署CDSW parcel及安装CSD文件

2.添加CDSW节点到集群并部署Gateway角色

3.安装CDSW服务

4.测试CDSW

• 测试环境

1.Redhat7.4

2.采用root用户操作

3.CM5.14.3/CDH5.14.2

4.CDSW版本1.3.0

• 前置条件

1.CM和CDH已安装且正常运行

2.集群已部署Spark2 On Yarn模式

3.集群已部署Anaconda

4.集群已配置好DNS服务并配置CDSW节点的泛域名解析

5.CDSW节点已经通过CM加入到集群中

2.部署CDSW Parcel包

1.*载下**CDSW的Parcel，*载下**地址如下

http://archive.cloudera.com/cdsw/1/parcels/1.3.0/CDSW-1.3.0.p1.244221-el7.parcel
http://archive.cloudera.com/cdsw/1/parcels/1.3.0/CDSW-1.3.0.p1.244221-el7.parcel.sha1
http://archive.cloudera.com/cdsw/1/parcels/1.3.0/manifest.json

（可左右滑动）

2.将*载下**的文件部署在Apache所在服务器的/var/www/html/cdsw1.3目录下

[root@ip-172-31-41-230 ~]# cd /var/www/html/cdsw1.3/
[root@ip-172-31-41-230 cdsw1.3]# ll
total 3993180
-rw-r--r-- 1 root root 4089002778 Feb 20 16:06 CDSW-1.3.0.p1.244221-el7.parcel
-rw-r--r-- 1 root root 41 Feb 20 16:07 CDSW-1.3.0.p1.244221-el7.parcel.sha1
-rw-r--r-- 1 root root 4231 Feb 20 16:09 manifest.json

（可左右滑动）

3.通过浏览器测试是否部署成功

看到以上界面说明部署成功。

3.安装CSD文件

1.*载下**CSD文件，使CM支持CDSW安装，文件*载下**地址

http://archive.cloudera.com/cdsw/1/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-1.3.0.jar

（可左右滑动）

2.将*载下**CLOUDERA_DATA_SCIENCE_WORKBENCH-1.3.0.jar文件放在CM所在服务器的/opt/cloudera/csd目录下

[root@ip-172-31-41-230 ~]# cd /opt/cloudera/csd/
[root@ip-172-31-41-230 csd]# ll
total 32
-rw-r--r-- 1 root root 8218 Feb 20 16:05 CLOUDERA_DATA_SCIENCE_WORKBENCH-1.3.0.jar
-rw-r--r-- 1 root root 17473 Feb 5 15:10 SPARK2_ON_YARN-2.2.0.cloudera2.jar 

（可左右滑动）

3.重启Cloudera-scm-server服务

[root@ip-172-31-41-230 csd]# service cloudera-scm-server restart
Restarting cloudera-scm-server (via systemctl): [ OK ]
[root@ip-172-31-41-230 csd]# 

（可左右滑动）

4.添加CDSW节点到集群

1.登录CM，新建一个主机模板

2.选择模板拥有的角色

3.完成主机模板创建

4.使用添加主机引导，进行主机添加，将cdsw master主机添加到集群，如下图所示为cdsw.fayson.com新节点

5.选择cdswmaster主机，应用主机模板

应用成功

5.配置CDSW的Parcle库

1.配置parcel库

2.*载下**、分配并激活

3.完成激活

6.安装CDSW服务

1.进入CM主页，选择集群点击“添加服务”

2.进入添加服务引导界面, 选择“Cloudera Data Science Workbench”,点击“继续”

3.选择CDSW依赖的服务，可以选最多的依赖

4.选择Master和Worker，点击“继续”，Fayson的环境只有一台机器，Worker节点不用选择，为空即可。

5.输入Domain和Block Device，点击“继续”

6.首次运行CDSW，点击“继续”

7.完成CDSW安装

主页显示

CDSW启动需要一段时间，等待10-20分钟后再访问CDSW控制台。

7.测试CDSW功能

1.进入CDSW服务，点击链接登录CDSW控制台

2.点击CDSW Web UI进入CDSW登录界面

3.点击“Sign Up fo a New Account”注册，首次注册的账号默认为管理员账号

4.使用admin用户登录CDSW

5.点击New Project创建一个Python工程

6.工程创建完成后，打开“Open Workbench”，启动一个python的会话

7.执行示例代码

这里Fayson就简单的创建一个Python工程，运行工程里的事例代码测试，更多的功能及用法可以看看Fayson前面写的关于CDSW的一些文章。

8.总结

1.CDSW访问时需要用到泛域名，因此必须为CDSW Master节点配置泛域名解析，具体可参看Fayson前面讲的《

如何在Windows Server2008搭建DNS服务并配置泛域名解析

》，《

如何利用Dnsmasq构建小型集群的本地DNS服务器

》，《

如何在Windows Server2012搭建DNS服务并配置泛域名解析

》，《

如何在RedHat6上使用Bind搭建DNS服务

》和《

如何在RedHat7上使用Bind搭建DNS服务

》。

2.CDSW节点是运行在CM管理的Gateway节点上的，所有CDSW的节点需要满足CDH的前置条件检查，具体可以参考《CDH安装前置准备》

3.CDSW所有节点需要加入CDH集群，并部署HDFS 、Yarn、Spark2的Gateway

4.CDSW Master节点需要有多块DISK，磁盘空间大于100G，不需要对磁盘进行格式化分区操作。

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：要看高清*码无**套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操