博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
把本地文件夹下的所有文件上传到hdfs上并合并成一个文件
阅读量:7223 次
发布时间:2019-06-29

本文共 1593 字,大约阅读时间需要 5 分钟。

hot3.png

需要自己写代码来实现:

/** *  */package com.jason.hadoop.example;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import  org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;/** * @author jason * */public class PutMerge {    public static void main(String[] args) throws IOException {        Configuration conf = new Configuration();         conf.addResource("classpath:/hadoop/core-site.xml");          conf.addResource("classpath:/hadoop/hdfs-site.xml");          conf.addResource("classpath:/hadoop/mapred-site.xml");        FileSystem hdfs = FileSystem.get(URI.create(args[1]), conf);//          FileSystem hdfs = FileSystem.get(conf);        FileSystem local = FileSystem.getLocal(conf);        Path inputDlir = new Path(args[0]);        Path hdfsFile = new Path(args[2]);        try {            FileStatus[] inputFiles = local.listStatus(inputDlir);            FSDataOutputStream out = hdfs.create(hdfsFile);            for (int i=0; i
 0) {                    out.write(buffer, 0 , bytesRead);                }                in.close();            }            out.close();        } catch (IOException ioe) {            ioe.printStackTrace();        }    }}

把工程打成jar包后,执行以下命令即可:

hadoop jar hadoopExample-1.0-SNAPSHOT.jar com.jason.hadoop.example.PutMerge /home/jason/hadoop-1.0.1/put_merge hdfs://localhost:9000 /example/put_merge/in/merge_222.txt

转载于:https://my.oschina.net/u/914897/blog/616682

你可能感兴趣的文章
面试题编程题05-python 有一个无序数组,如何获取第K 大的数,说下思路,实现后的时间复杂度?...
查看>>
kendo grid序号显示
查看>>
Spring 教程(二) 体系结构
查看>>
Indexes
查看>>
2.Web中使用iReport 整合----------创建html格式的
查看>>
异常备忘:java.lang.UnsupportedClassVersionError: Bad version number in .class file
查看>>
最全三大框架整合(使用映射)——applicationContext.xml里面的配置
查看>>
初步理解Java的三大特性——封装、继承和多态
查看>>
知识点积累(一)
查看>>
iphone-common-codes-ccteam源代码 CCFile.m
查看>>
python:浅析python 中__name__ = '__main__' 的作用
查看>>
修改tomcat端口后不能IP访问问题
查看>>
review board
查看>>
URAL 1495 One-two, One-two 2
查看>>
牛客国庆集训派对Day3 G Stones
查看>>
虚函数简单总结
查看>>
插入排序--算法导论
查看>>
NoSQL -- Redis使用
查看>>
处理iphone的 .play() 不能播放问题
查看>>
jetty404web界面服务器信息隐藏
查看>>