Hadoop实验——熟悉常用的HDFS操作

2017年6月1日 0条评论 3,849次阅读 2人点赞

实验目的

理解HDFS在Hadoop体系结构中的角色。
熟练使用HDFS操作常用的Shell命令。
熟悉HDFS操作常用的Java API。

实验平台

操作系统:Ubuntu-16.04
Hadoop版本:2.6.0
JDK版本:1.8
IDE:Eclipse

实验内容和要求

一，编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：

向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件。

Shell命令实现:

先到Hadoop主文件夹
cd /usr/local/hadoop
启动Hadoop服务
```
sbin/start-dfs.sh
sbin/start-yarn.sh
```

创建两个任意文本文件用于实验

echo "hello world" > local.txt
echo "hello hadoop" >text.txt

检查文件是否存在
```
hadoop fs -test -e text.txt
echo $?
```
上传本地文件到HDFS系统(上传之后再执行一遍上一步,如果是第一次做HDFS操作第一次做这一步会出错，可以直接做一次hadoop fs -appendToFile local.txt text.txt就能解决)
hadoop fs -put text.txt
追加到文件末尾的指令
hadoop fs -appendToFile local.txt text.txt
查看HDFS文件的内容
hadoop fs -cat text.txt
覆盖原有文件的指令(覆盖之后再执行一遍上一步)
hadoop fs -copyFromLocal -f local.txt text.txt
以上步骤也可以用如下命令实现
```
if $(hadoop fs -test -e text.txt);
then $(hadoop fs -appendToFile local.txt text.txt);
else $(hadoop fs -copyFromLocal -f local.txt text.txt);
fi
```
Eclipse的使用
1. 找到 File 菜单，选择 New -> Project
2. 选择 Map/Reduce Project,然后Next
3. 输入 Project name,然后Finish
4. 点开项目,找到 src 文件夹，右键选择 New -> Class
5. 输入 Package 和 Name,然后Finish
6. 修改一下JRE
7. 写好Java代码（给的代码里要修改HDFS和本地路径),右键选择 Run As -> Run on Hadoop,就可以在Console里看到结果了

Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HdfsApi {
 /**
  * 判断路径是否存在
  */
 public static boolean test(Configuration conf, String path) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     return fs.exists(new Path(path));
 }

 /**
  * 复制文件到指定路径
  * 若路径已存在，则进行覆盖
  */
 public static void copyFromLocalFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path localPath = new Path(localFilePath);
     Path remotePath = new Path(remoteFilePath);
     /* fs.copyFromLocalFile 第一个参数表示是否删除源文件，第二个参数表示是否覆盖 */
     fs.copyFromLocalFile(false, true, localPath, remotePath);
     fs.close();
 }

 /**
  * 追加文件内容
  */
 public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     /* 创建一个文件读入流 */
     FileInputStream in = new FileInputStream(localFilePath);
     /* 创建一个文件输出流，输出的内容将追加到文件末尾 */
     FSDataOutputStream out = fs.append(remotePath);
     /* 读写文件内容 */
     byte[] data = new byte[1024];
     int read = -1;
     while ( (read = in.read(data)) > 0 ) {
         out.write(data, 0, read);
     }
     out.close();
     in.close();
     fs.close();
 }

 /**
  * 主函数
  */
 public static void main(String[] args) {
     Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
     String localFilePath = "/usr/local/hadoop/text.txt";    // 本地路径
     String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径
     String choice = "append";    // 若文件存在则追加到文件末尾
//        String choice = "overwrite";    // 若文件存在则覆盖

     try {
         /* 判断文件是否存在 */
         boolean fileExists = false;
         if (HdfsApi.test(conf, remoteFilePath)) {
             fileExists = true;
             System.out.println(remoteFilePath + " 已存在.");
         } else {
             System.out.println(remoteFilePath + " 不存在.");
         }
         /* 进行处理 */
         if ( !fileExists) { // 文件不存在，则上传
             HdfsApi.copyFromLocalFile(conf, localFilePath, remoteFilePath);
             System.out.println(localFilePath + " 已上传至 " + remoteFilePath);
         } else if ( choice.equals("overwrite") ) {    // 选择覆盖
             HdfsApi.copyFromLocalFile(conf, localFilePath, remoteFilePath);
             System.out.println(localFilePath + " 已覆盖 " + remoteFilePath);
         } else if ( choice.equals("append") ) {   // 选择追加
             HdfsApi.appendToFile(conf, localFilePath, remoteFilePath);
             System.out.println(localFilePath + " 已追加至 " + remoteFilePath);
         }
     } catch (Exception e) {
         e.printStackTrace();
     }
 }
}

从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名。

Shell命令实现:

if $(hadoop fs -test -e /usr/local/hadoop/text.txt);
then $(hadoop fs -copyToLocal text.txt ./text.txt); 
else $(hadoop fs -copyToLocal text.txt ./text2.txt); 
fi

Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HdfsApi {
 /**
  * 下载文件到本地
  * 判断本地路径是否已存在，若已存在，则自动进行重命名
  */
 public static void copyToLocal(Configuration conf, String remoteFilePath, String localFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     File f = new File(localFilePath);
     /* 如果文件名存在，自动重命名(在文件名后面加上 _0, _1 ...) */
     if (f.exists()) {
         System.out.println(localFilePath + " 已存在.");
         Integer i = 0;
         while (true) {
             f = new File(localFilePath + "_" + i.toString());
             if (!f.exists()) {
                 localFilePath = localFilePath + "_" + i.toString();
                 break;
             }
         }
         System.out.println("将重新命名为: " + localFilePath);
     }
  // 下载文件到本地
     Path localPath = new Path(localFilePath);
     fs.copyToLocalFile(remotePath, localPath);
     fs.close();
  }

  /**
   * 主函数
   */
  public static void main(String[] args) {
      Configuration conf = new Configuration();
  conf.set("fs.default.name","hdfs://localhost:9000");
      String localFilePath = "/usr/local/hadoop/text.txt";    // 本地路径
      String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径

      try {
          HdfsApi.copyToLocal(conf, remoteFilePath, localFilePath);
          System.out.println("下载完成");
      } catch (Exception e) {
          e.printStackTrace();
      }
  }
}

将HDFS中指定文件的内容输出到终端中。

Shell命令实现:
hadoop fs -cat text.txt
Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HdfsApi {
 /**
  * 读取文件内容
  */
 public static void cat(Configuration conf, String remoteFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     FSDataInputStream in = fs.open(remotePath);
     BufferedReader d = new BufferedReader(new InputStreamReader(in));
     String line = null;
     while ( (line = d.readLine()) != null ) {
         System.out.println(line);
     }
    d.close();
    in.close();
    fs.close();
 }

 /**
  * 主函数
  */
 public static void main(String[] args) {
     Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
     String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径

     try {
         System.out.println("读取文件: " + remoteFilePath);
         HdfsApi.cat(conf, remoteFilePath);
         System.out.println("\n读取完成");
     } catch (Exception e) {
         e.printStackTrace();
     }
 }
}

显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息。

Shell命令实现:
hadoop fs -ls -h text.txt
Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
import java.text.SimpleDateFormat;
import java.util.Date;
public class HdfsApi {
 /**
  * 显示指定文件的信息
  */
 public static void ls(Configuration conf, String remoteFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     FileStatus[] fileStatuses = fs.listStatus(remotePath);
     for (FileStatus s : fileStatuses) {
         System.out.println("路径: " + s.getPath().toString());
         System.out.println("权限: " + s.getPermission().toString());
         System.out.println("大小: " + s.getLen());
         /* 返回的是时间戳,转化为时间日期格式 */
         long timeStamp = s.getModificationTime();
         SimpleDateFormat format =  new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
         String date = format.format(timeStamp);  
         System.out.println("时间: " + date);
     }
     fs.close();
 }

 /**
  * 主函数
  */
 public static void main(String[] args) {
     Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
     String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径

     try {
         System.out.println("读取文件信息: " + remoteFilePath);
         HdfsApi.ls(conf, remoteFilePath);
         System.out.println("\n读取完成");
     } catch (Exception e) {
         e.printStackTrace();
     }
 }
}

给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息。

Shell命令实现:
hadoop fs -ls -R -h /user/tiny
Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
import java.text.SimpleDateFormat;
public class HdfsApi {
 /**
  * 显示指定文件夹下所有文件的信息（递归）
  */
 public static void lsDir(Configuration conf, String remoteDir) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path dirPath = new Path(remoteDir);
     /* 递归获取目录下的所有文件 */
     RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(dirPath, true);
     /* 输出每个文件的信息 */
     while (remoteIterator.hasNext()) {
         FileStatus s = remoteIterator.next();
         System.out.println("路径: " + s.getPath().toString());
         System.out.println("权限: " + s.getPermission().toString());
         System.out.println("大小: " + s.getLen());
         /* 返回的是时间戳,转化为时间日期格式 */
         Long timeStamp = s.getModificationTime();
         SimpleDateFormat format =  new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
         String date = format.format(timeStamp);  
         System.out.println("时间: " + date);
         System.out.println();
     }
     fs.close();
 }    

 /**
  * 主函数
  */
 public static void main(String[] args) {
     Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
     String remoteDir = "/user/tiny";    // HDFS路径

     try {
         System.out.println("(递归)读取目录下所有文件的信息: " + remoteDir);
         HdfsApi.lsDir(conf, remoteDir);
         System.out.println("读取完成");
     } catch (Exception e) {
         e.printStackTrace();
     }
 }
}

提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录。

Shell命令实现:

if $(hadoop fs -test -d dir1/dir2);
then $(hadoop fs -touchz dir1/dir2/filename); 
else $(hadoop fs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename); 
fi

删除操作
hadoop fs -rm dir1/dir2/filename

Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HdfsApi {
 /**
  * 判断路径是否存在
  */
 public static boolean test(Configuration conf, String path) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     return fs.exists(new Path(path));
 }

 /**
  * 创建目录
  */
 public static boolean mkdir(Configuration conf, String remoteDir) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path dirPath = new Path(remoteDir);
     boolean result = fs.mkdirs(dirPath);
     fs.close();
     return result;
 }

 /**
  * 创建文件
  */
 public static void touchz(Configuration conf, String remoteFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     FSDataOutputStream outputStream = fs.create(remotePath);
     outputStream.close();
     fs.close();
}

 /**
  * 删除文件
  */
 public static boolean rm(Configuration conf, String remoteFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     boolean result = fs.delete(remotePath,false);
     fs.close();
     return result;
 }

 /**
  * 主函数
  */
 public static void main(String[] args) {
     Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
     String remoteFilePath = "/user/tiny/input/text.txt";    // HDFS路径
     String remoteDir = "/user/tiny/input";    // HDFS路径对应的目录

     try {
         /* 判断路径是否存在，存在则删除，否则进行创建 */
         if ( HdfsApi.test(conf, remoteFilePath) ) {
             HdfsApi.rm(conf, remoteFilePath); // 删除
             System.out.println("删除文件: " + remoteFilePath);
         } else {
             if ( !HdfsApi.test(conf, remoteDir) ) { // 若目录不存在，则进行创建
                 HdfsApi.mkdir(conf, remoteDir);
                 System.out.println("创建文件夹: " + remoteDir);
             }
             HdfsApi.touchz(conf, remoteFilePath);
             System.out.println("创建文件: " + remoteFilePath);
         }
     } catch (Exception e) {
         e.printStackTrace();
     }
 }
}

提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录。删除目录时，由用户指定当该目录不为空时是否还删除该目录。

Shell命令实现:

创建目录
hadoop fs -mkdir -p dir1/dir2
删除目录（如果目录非空则会提示not empty，不执行删除）
hadoop fs -rmdir dir1/dir2
强制删除目录
hadoop fs -rm -r dir1/dir2

Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HdfsApi {
 /**
  * 判断路径是否存在
  */
 public static boolean test(Configuration conf, String path) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     return fs.exists(new Path(path));
 }

 /**
  * 判断目录是否为空
  * true: 空，false: 非空
  */
 public static boolean isDirEmpty(Configuration conf, String remoteDir) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path dirPath = new Path(remoteDir);
     RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(dirPath, true);
     return !remoteIterator.hasNext();
 }

 /**
  * 创建目录
  */
 public static boolean mkdir(Configuration conf, String remoteDir) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path dirPath = new Path(remoteDir);
     boolean result = fs.mkdirs(dirPath);
     fs.close();
     return result;
 }

 /**
 * 删除目录
  */
 public static boolean rmDir(Configuration conf, String remoteDir) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path dirPath = new Path(remoteDir);
     /* 第二个参数表示是否递归删除所有文件 */
     boolean result = fs.delete(dirPath, true);
     fs.close();
     return result;
 }

 /**
  * 主函数
  */
 public static void main(String[] args) {
     Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
     String remoteDir = "/user/tiny/input";    // HDFS目录
     Boolean forceDelete = false;  // 是否强制删除

     try {
         /* 判断目录是否存在，不存在则创建，存在则删除 */
         if ( !HdfsApi.test(conf, remoteDir) ) {
             HdfsApi.mkdir(conf, remoteDir); // 创建目录
             System.out.println("创建目录: " + remoteDir);
         } else {
             if ( HdfsApi.isDirEmpty(conf, remoteDir) || forceDelete ) { // 目录为空或强制删除
                 HdfsApi.rmDir(conf, remoteDir);
                 System.out.println("删除目录: " + remoteDir);
             } else  { // 目录不为空
                 System.out.println("目录不为空，不删除: " + remoteDir);
             }
         }
     } catch (Exception e) {
         e.printStackTrace();
     }
 }
}

向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾。

Shell命令实现:

追加到文件末尾
hadoop fs -appendToFile local.txt text.txt

追加到文件开头

hadoop fs -get text.txt
cat text.txt >> local.txt
hadoop fs -copyFromLocal -f text.txt text.txt

Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HdfsApi {
 /**
  * 判断路径是否存在
  */
 public static boolean test(Configuration conf, String path) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     return fs.exists(new Path(path));
 }

 /**
  * 追加文本内容
  */
 public static void appendContentToFile(Configuration conf, String content, String remoteFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     /* 创建一个文件输出流，输出的内容将追加到文件末尾 */
     FSDataOutputStream out = fs.append(remotePath);
     out.write(content.getBytes());
     out.close();
     fs.close();
}

 /**
  * 追加文件内容
  */
 public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     /* 创建一个文件读入流 */
     FileInputStream in = new FileInputStream(localFilePath);
     /* 创建一个文件输出流，输出的内容将追加到文件末尾 */
     FSDataOutputStream out = fs.append(remotePath);
     /* 读写文件内容 */
     byte[] data = new byte[1024];
     int read = -1;
     while ( (read = in.read(data)) > 0 ) {
         out.write(data, 0, read);
     }
     out.close();
     in.close();
     fs.close();
 }

 /**
  * 移动文件到本地
  * 移动后，删除源文件
  */
 public static void moveToLocalFile(Configuration conf, String remoteFilePath, String localFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     Path localPath = new Path(localFilePath);
     fs.moveToLocalFile(remotePath, localPath);
 }

 /**
  * 创建文件
  */
 public static void touchz(Configuration conf, String remoteFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     FSDataOutputStream outputStream = fs.create(remotePath);
     outputStream.close();
     fs.close();
 }

 /**
  * 主函数
  */
 public static void main(String[] args) {
     Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
     String remoteFilePath = "/user/tiny/text.txt";    // HDFS文件
     String content = "新追加的内容\n";
     String choice = "after";         //追加到文件末尾
//        String choice = "before";    // 追加到文件开头

     try {
         /* 判断文件是否存在 */
         if ( !HdfsApi.test(conf, remoteFilePath) ) {
             System.out.println("文件不存在: " + remoteFilePath);
         } else {
             if ( choice.equals("after") ) { // 追加在文件末尾
                 HdfsApi.appendContentToFile(conf, content, remoteFilePath);
                 System.out.println("已追加内容到文件末尾" + remoteFilePath);
             } else if ( choice.equals("before") )  { // 追加到文件开头
                 /* 没有相应的api可以直接操作，因此先把文件移动到本地，创建一个新的HDFS，再按顺序追加内容 */
                 String localTmpPath = "/user/hadoop/tmp.txt";
                 HdfsApi.moveToLocalFile(conf, remoteFilePath, localTmpPath);  // 移动到本地
                 HdfsApi.touchz(conf, remoteFilePath);    // 创建一个新文件
                 HdfsApi.appendContentToFile(conf, content, remoteFilePath);   // 先写入新内容
                 HdfsApi.appendToFile(conf, localTmpPath, remoteFilePath);   // 再写入原来内容
                 System.out.println("已追加内容到文件开头: " + remoteFilePath);
             }
         }
     } catch (Exception e) {
         e.printStackTrace();
     }
 }
}

删除HDFS中指定的文件。

Shell命令实现:
hadoop fs -rm text.txt
Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HdfsApi {
 /**
  * 删除文件
  */
 public static boolean rm(Configuration conf, String remoteFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path remotePath = new Path(remoteFilePath);
     boolean result = fs.delete(remotePath, false);
     fs.close();
     return result;
 }

 /**
  * 主函数
  */
 public static void main(String[] args) {
     Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
     String remoteFilePath = "/user/tiny/text.txt";    // HDFS文件

     try {
         if ( HdfsApi.rm(conf, remoteFilePath) ) {
             System.out.println("文件删除: " + remoteFilePath);
         } else {
             System.out.println("操作失败（文件不存在或删除失败）");
         }
     } catch (Exception e) {
         e.printStackTrace();
     }
 }
}

删除HDFS中指定的目录，由用户指定目录中如果存在文件时是否删除目录。

Shell命令实现:

删除目录（如果目录非空则会提示not empty，不执行删除）
hadoop fs -rmdir dir1/dir2
强制删除目录
hadoop fs -rm -R dir1/dir2

Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HdfsApi {
 /**
  * 判断目录是否为空
  * true: 空，false: 非空
  */
 public static boolean isDirEmpty(Configuration conf, String remoteDir) throws IOException {
FileSystem fs = FileSystem.get(conf);
     Path dirPath = new Path(remoteDir);
     RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(dirPath, true);
     return !remoteIterator.hasNext();
 }

 /**
  * 删除目录
  */
 public static boolean rmDir(Configuration conf, String remoteDir, boolean recursive) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path dirPath = new Path(remoteDir);
     /* 第二个参数表示是否递归删除所有文件 */
     boolean result = fs.delete(dirPath, recursive);
     fs.close();
     return result;
 }

 /**
  * 主函数
  */
 public static void main(String[] args) {
     Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
     String remoteDir = "/user/tiny/dir1/dir2";    // HDFS目录
     Boolean forceDelete = false;  // 是否强制删除

     try {
         if ( !HdfsApi.isDirEmpty(conf, remoteDir) && !forceDelete ) {
             System.out.println("目录不为空，不删除");
         } else {
             if ( HdfsApi.rmDir(conf, remoteDir, forceDelete) ) {
                 System.out.println("目录已删除: " + remoteDir);
             } else {
                 System.out.println("操作失败");
             }
         }
     } catch (Exception e) {
         e.printStackTrace();
     }
 }
}

在HDFS中，将文件从源路径移动到目的路径。

Shell命令实现:
hadoop fs -mv text.txt input
Java实现:

package com.zucc.tiny.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HdfsApi {
 /**
  * 移动文件
  */
 public static boolean mv(Configuration conf, String remoteFilePath, String remoteToFilePath) throws IOException {
     FileSystem fs = FileSystem.get(conf);
     Path srcPath = new Path(remoteFilePath);
     Path dstPath = new Path(remoteToFilePath);
     boolean result = fs.rename(srcPath, dstPath);
     fs.close();
     return result;
 }

 /**
  * 主函数
  */
 public static void main(String[] args) {
     Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
     String remoteFilePath = "hdfs:///user/tiny/text.txt";    // 源文件HDFS路径
     String remoteToFilePath = "hdfs:///user/tiny/input";    // 目的HDFS路径

     try {
         if ( HdfsApi.mv(conf, remoteFilePath, remoteToFilePath) ) {
             System.out.println("将文件 " + remoteFilePath + " 移动到 " + remoteToFilePath);
         } else {
                 System.out.println("操作失败(源文件不存在或移动失败)");
         }
     } catch (Exception e) {
         e.printStackTrace();
     }
 }
}

二，编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取HDFS中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。

package com.zucc.tiny.hdfs;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.text.SimpleDateFormat;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

public class MyFSDataInputStream extends FSDataInputStream {

    public MyFSDataInputStream(InputStream in) {
        super(in);
        // TODO Auto-generated constructor stub
    }
    public static String readline(Configuration conf, String remoteFilePath) throws IOException {
         FileSystem fs = FileSystem.get(conf);
         Path remotePath = new Path(remoteFilePath);
         FSDataInputStream in = fs.open(remotePath);
         BufferedReader d = new BufferedReader(new InputStreamReader(in));
         String line = null;
         if((line=d.readLine())!=null)
         {
             d.close();
             in.close();
             fs.close();
             return line;
         }
         else{
             d.close();
             in.close();
             fs.close();
             return null;
         }
     }
    public static void main(String[] args) {
        Configuration conf = new Configuration();
        conf.set("fs.default.name","hdfs://localhost:9000");
        String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径

        try {
            System.out.println("读取文件: " + remoteFilePath);
            System.out.println(MyFSDataInputStream.readline(conf, remoteFilePath));
            System.out.println("\n读取完成");
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
}

三，查看Java帮助手册或其它资料，用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出HDFS中指定文件的文本到终端中。

package com.zucc.tiny.hdfs;

import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;

public class FsUrl {
    static {
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }
    public static void cat(String remoteFilePath) throws IOException {
         InputStream in = null;
         try {
            in = new URL("hdfs","localhost",9000,remoteFilePath).openStream();
            IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
            IOUtils.closeStream(in);
        }
     }

     /**
      * 主函数
      */
     public static void main(String[] args) {
         String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径

         try {
             System.out.println("读取文件: " + remoteFilePath);
             FsUrl.cat(remoteFilePath);
             System.out.println("\n读取完成");
         } catch (Exception e) {
             e.printStackTrace();
         }
     }
    }

昔日暖阳

Osheep

Hadoop实验——熟悉常用的HDFS操作

实验目的

实验平台

实验内容和要求

一，编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：

向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件。

从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名。

将HDFS中指定文件的内容输出到终端中。

显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息。

给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息。

提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录。

提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录。删除目录时，由用户指定当该目录不为空时是否还删除该目录。

向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾。

删除HDFS中指定的文件。

删除HDFS中指定的目录，由用户指定目录中如果存在文件时是否删除目录。

在HDFS中，将文件从源路径移动到目的路径。

二，编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取HDFS中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。

三，查看Java帮助手册或其它资料，用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出HDFS中指定文件的文本到终端中。

本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可

Osheep

实验目的

实验平台

实验内容和要求

一，编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：

向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件。

从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名。

将HDFS中指定文件的内容输出到终端中。

显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息。

给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息。

提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录。

提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录。删除目录时，由用户指定当该目录不为空时是否还删除该目录。

向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾。

删除HDFS中指定的文件。

删除HDFS中指定的目录，由用户指定目录中如果存在文件时是否删除目录。

在HDFS中，将文件从源路径移动到目的路径。

二，编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取HDFS中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。

三，查看Java帮助手册或其它资料，用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出HDFS中指定文件的文本到终端中。

本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可

本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可