java使用FileSystem上传文件到hadoop分布式文件系统配置

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://sparkcluster");

conf.set("dfs.nameservices", "sparkcluster");

conf.set("dfs.ha.namenodes.sparkcluster", "nn1,nn2");

conf.set("dfs.namenode.rpc-address.sparkcluster.nn1", "tuxedo:8020");

conf.set("dfs.namenode.rpc-address.sparkcluster.nn2", "ecup-mgr:8020");

conf.set("dfs.client.failover.proxy.provider.sparkcluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
// conf.set("fs.defaultFS", "hdfs://tuxedo");
/**
* 参数优先级： 1、客户端代码中设置的值 2、classpath下的用户自定义配置文件 3、然后是服务器的默认配置
*/
// conf.set("dfs.replication", "3");

// 获取一个hdfs的访问客户端，根据参数，这个实例应该是DistributedFileSystem的实例
fs = FileSystem.get(conf);