至HDFS附加内容

在最近的项目开发中遇到的问题：

需要产生良好hdfs文件的其他内容。但使用在线版1.0.3。见发现官方文件，于1.0.4支持的文件的版本号之后append

一下是向hdfs中追加信息的操作方法

假设你仅仅在某一个driver中追加内容信息。不必要对于整个HDFS都开启内容追加：

在某个方法中。追加文件信息：

private void combinerMid(Path input,Path output,Configuration conf){

            FileSystem hdfs = null;

            conf.setBoolean("dfs.support.append", true);

            try{

                hdfs = FileSystem.get(conf);

                FSDataInputStream in = hdfs.open(input);

                FSDataOutputStream out = hdfs.append(output);

                IOUtils.copyBytes(in,out,4096,true);

            }catch (IOException e){

                e.printStackTrace();

            }

        }

使用以上方法，便能够向output文件里追加input中的文件内容





假设须要开启对于整个HDFS的文件追加内容权限须要在

hdfs-site.xml中添加下面配置

<property>

    <name>dfs.support.append</name>

    <value>true</value>

</property>

版权声明：本文博主原创文章。博客，未经同意不得转载。