CDH6.2上配置各种对象存储

cm-hdfs:

ufile: 还需添加jar包

S3:是自带jar包

OSS: CDH6不需要下载包, CDH5需要

core-site.xml 的群集范围高级配置代码段（安全阀）

fs.oss.endpoint oss-eu-west-1.aliyuncs.com              #oss的外网地址
fs.oss.accessKeyId 
fs.oss.accessKeySecret 
fs.oss.impl org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem
fs.oss.buffer.dir /tmp/oss
fs.oss.connection.secure.enabled false    #是否enable https, 根据需要来设置，enable https会影响性能
fs.oss.connection.maximum 10000

#在CDH中需在cm中配置(需测试)

hadoop-env.sh配置修改
打开文件： vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
在相应位置增加如下内容：

export HADOOP_OPTIONAL_TOOLS="hadoop-aliyun"
修改完成之后，重启Hadoop集群

#检查

hdfs dfs -ls oss://opay-datalake/