本文共 1882 字，大约阅读时间需要 6 分钟。

总共分为六步

        创建QingMR集群、创建QingStor对象存储、QingMR集群为QingStor对象存储配置参数、配置VPN访问HDFS、ssh远程登陆Client以及Ubuntu系统下Client节点的一些命令

第一步，创建QingMR集群

1、在创建QingMR集群之前，首先需要创建VPC网络和 和私有网络

        VPC网络的创建只需输入名称，选择类型，然后点击创建即可。

VPC网络创建图

2、私有网络创建只需要输入名称，点击提交即可；

        在创建好的私有网络上右键选择添加到VPC网络，选择刚才创建好的VPC网络，这样就完成了VPC网络和私有网络的绑定。

3、在AppCenter中创建QingMR集群

        首先，在左侧的导航栏中找到大数据平台下的QingMR，点击创建后，在创建界面的第1步：基本设置中输入集群名称；

        然后，在集群创建界面的第2步：网络设置中选择刚才创建好的私有网络即可；         最后，在第5步：用户协议上勾选同意协议，点击提交完成集群的创建。         之后，可在AppCenter的管理下查看创建好的集群，小型的QingMR集群如下所示：

第二步，创建QingStor对象存储

        在左侧的存储下方的对象存储中点击创建Bucket，输入Bucket的名称，即可完成QingStor对象存储的创建；

        之后，在创建好的Bucket上可以选择新建文件夹，也可以将本地文件上传至对象存储。

第三步，QingMR集群为QingStor对象存储配置参数

        为了将QingStorm对象存储中的文件传输到集群的Client节点和HDFS节点，需要对集群做如下的配置：

        在集群的配置参数界面，将QingStor设为True,同时必须输入API秘钥才可生效（API秘钥可到账号一栏下方申请）

第四步，为QingMR集群通过VPC网络来配置VPN，利用OpenVPN软件连接访问集群的HDFS节点

        如果要想通过本地电脑利用VPN的方式来访问集群HDFS的webUI界面，需要申请一个公网ip，将公网ip右键绑定到VPC网络，然后打开集群绑定VPC网络的OpenVPN服务，添加账号后记得点击右上方的应用修改；

        申请公网ip界面         对VPC网络详情中的管理配置下方的VPN网络打开OpenVPN服务，同时添加OpenVPN账号，以便后续通过本地安装的OpenVPN软件登录使用。（记得在防火墙中打开UDP下行的1194端口，同时将下载的解压后的Window证书放到OpenVPN软件安装目录下的config文件夹下）         接下来，就可以通过本地OpenVPN软件来连接QingMR集群网络，访问HDFS节点的WebUI界面了。         连接成功后，在浏览器下输入http://192.168.0.7:50070/即可访问集群HDFS节点（这里假设HDFS节点的IP为192.168.0.7，具体可以到集群界面查看）

第五步，OpenVPN打开后，利用XShell软件通过ssh远程登录集群的Client节点

        由于ssh默认都通过22端口来连接Client节点，所以需要在青云的防火墙上打开TCP下行22端口，才能通过XShell软件利用ssh远程登陆集群的Client节点。

另外，还需要在青云集群中登陆Client节点后开启ssh服务，需要输入如下命令：

输入vim /etc/ssh/sshd_config 回车后将PermitRootLogin那一项的值改为yes,然后按ESC键再输入 :wq即可生效再输入service ssh restart 来重启ssh服务

        然后打开XShell软件，新建会话，输入集群Client节点的ip和用户名、密码

        最后，点击连接就可登陆到Client节点成功，如下图所示。

第六步，QingMR集群Client节点命令

//首先将青云对象存储QingStor上的文件传输到Client节点上并查看，输入如下命令：cd /opt/hadoopbin/hdfs dfs –get (青云分区名称)://mybucket/myfilels//下面需要将Client节点上hadoop下的myfile文件夹传输到HDFS节点上，并确认传输后HDFS节点上是否有了myfile文件：Cd /opt/hadoopbin/hdfs dfs –put /opt/hadoop/myfile /bin/hdfs dfs –ls /myfile//复制文件命令cp /opt/hadoop/myfile /opt/spark/myfilefuben

转载地址：http://pdzwb.baihongyu.com/