如何准备MapReduce样例初始数据，有哪些步骤？

准备MapReduce样例初始数据，核心在于将测试数据按指定格式部署到HDFS或写入HBase表，确保数据能被MapReduce作业正确读取和处理。

HDFS数据准备：MapReduce样例数据准备的关键步骤

在Hadoop生态中,MapReduce的输入数据通常来自HDFS，准备这些数据是每个大数据工程师的日常任务，也是后续作业调试的基础。

选择数据源与格式

• 官方示例数据：Hadoop发行版自带WordCount、Grep等程序，数据可以直接从/user/hadoop/examples目录获取，这些数据文件通常为文本格式，每行包含若干单词，适合快速验证。
• 自定义生成：使用Python脚本生成随机文本，或者利用Hadoop的RandomTextWriter工具生成指定大小的数据。hadoop jar hadoop-mapreduce-examples-.jar randomtextwriter -D test.randomtextwrite.total_bytes=1073741824 /user/hadoop/data会生成1GB的随机文本。
• 常见格式：文本文件（每行记录）、SequenceFile（键值对）、Avro（带schema），行业共识认为，文本格式是入门最友好的选择，但SequenceFile在压缩和性能上更优，尤其适合多次读取的场景。

上传本地文件到HDFS

• 使用hdfs dfs -put命令：将本地文件上传到HDFS目标目录。hdfs dfs -put ./sample.txt /user/hadoop/input/
• 如果目录不存在,先创建：hdfs dfs -mkdir -p /user/hadoop/input
• 对于大文件,考虑使用-D dfs.block.size=134217728（128MB）调整块大小，匹配MapReduce的split策略，避免产生过多小文件。
• 多个文件可以合并上传：hdfs dfs -put -f ./data/.txt /user/hadoop/input/，-f参数会覆盖同名文件。
• 检查上传结果：hdfs dfs -du -h /user/hadoop/input/可以查看文件大小分布。

验证数据块分布

• 用hdfs dfs -ls /user/hadoop/input/查看文件列表，确认文件数量正确。
• 用hdfs dfs -stat "%b %o" /user/hadoop/input/sample.txt查看块大小和块数量。
• 使用hdfs fsck /user/hadoop/input -files -blocks确认文件块分布是否均匀，避免数据倾斜影响测试，如果发现块分布不均，可以重新上传或使用distcp

  

  重新分布。

HBase中准备MapReduce样例数据的完整流程

当MapReduce作业需要从HBase读取数据时,你需要在HBase表中预置数据，业内专家指出，HBase的数据准备比HDFS多一层表结构设计，需要提前规划RowKey和列族，否则后续扫描效率会大打折扣。参考2

创建表并定义列族

• 进入HBase Shell：hbase shell
• 创建表：create 'words', 'content'，其中words是表名，content是列族。
• 根据需要设置版本数、TTL等参数，create 'words', {NAME => 'content', VERSIONS => 3}，如果数据量较大，建议预分区：create 'words', 'content', {SPLITS => ['row1000','row2000','row3000']}，避免热点问题。

插入测试数据的方式

• 手动插入：使用put命令单条插入，适合少量数据验证。

  put 'words', 'row1', 'content:word', 'hello'
  put 'words', 'row2', 'content:word', 'world'

• 批量导入：使用ImportTsv工具从TSV文件批量导入，适合中等规模数据。
  • 示例：hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,content:word words /path/to/tsv，TSV文件每行代表一条记录，第一列为RowKey，后续列为列族:列名。
• 使用BulkLoad：先生成HFile，然后加载到HBase，适合超大规模数据（如TB级）。
  • 流程：编写MapReduce作业生成HFile，输出到HDFS临时目录，然后使用hbase org.apache.hadoop.hbase.tool.LoadIncrementalHFiles工具加载到目标表，这种方式能显著减少写入时对RegionServer的压力。

数据与MapReduce的映射关系

• MapReduce中使用TableInputFormat读取HBase数据，需要指定扫描的起始行键和结束行键，在配置中设置Scan scan = new Scan(); scan.addFamily(Bytes.toBytes("content"));。
• 列族和列名必须与MapReduce程序中的Scan对象一致，否则数据无法被读取，通常会在Mapper中通过Context获取Row对象，然后调用getValue方法。
• 对于hbase导入数据mapreduce样例,建议使用TableMapReduceUtil.initTableMapperJob方法配置，它会自动处理输入格式和分片逻辑。

确保数据与MapReduce作业的兼容性

准备数据只是第一步,数据能否被MapReduce作业正确解析同样关键，否则会浪费大量排查时间。

InputFormat配置要点

• 对于HDFS文本数据,默认使用TextInputFormat，每行作为值，偏移量作为键，如果数据是自定义格式，需要实现InputFormat接口，或者使用已有的SequenceFileInputFormat、AvroInputFormat等。
• 对于HBase数据,必须在Job配置中设置TableInputFormat并指定表名和扫描范围。
  • 示例：Scan scan = new Scan(); scan.addFamily(Bytes.toBytes("content"));
  • 通过TableMapReduceUtil.initTableMapperJob方法配置，它会自动设置输入格式和扫描器。
• 如果数据包含压缩格式（如gzip、snappy），Hadoop通常能自动识别，但需要确保core-site.xml中配置了相应的编解码器。

运行WordCount验证样例数据

• 以WordCount为例,输入数据需要是文本文件，每行包含多个单词，用空格分隔。
• 运行命令：hadoop jar hadoop-mapreduce-examples-.jar wordcount /user/hadoop/input /user/hadoop/output
• 查看输出：hdfs dfs -cat /user/hadoop/output/part-r-00000，确认单词计数是否正确，如果计数为0或数据缺失，检查输入路径和文件格式。
• 如果数据来自HBase,需要修改WordCount程序，使用TableInputFormat读取，并自定义Mapper，核心代码片段：

  public static class MyMapper extends TableMapper<Text, IntWritable> {
      public void map(ImmutableBytesWritable row, Result value, Context context) {
          String word = Bytes.toString(value.getValue(Bytes.toBytes("content"), Bytes.toBytes("word")));
          context.write(new Text(word), new IntWritable(1));
      }
  }

常见问题与调试技巧

• 数据格式不匹配：MapReduce解析失败时，检查数据分隔符、编码（推荐UTF-8）以及行尾换行符，对于HBase，确认列族和列名的大小写是否一致。
• HBase表不存在：运行前确认表已创建，且列族名称正确，使用

  参考2

  list命令查看所有表。

• 权限不足：确保HDFS目录和HBase表对运行用户有读写权限，可设置hdfs dfs -chmod 755 /user/hadoop/input或使用hbase shell中的grant命令。
• 数据倾斜：生成数据时注意随机化RowKey，避免所有数据写入同一Region，在RowKey前加上哈希前缀，如md5(rowkey).substring(0,2) + rowkey。
• 小文件过多：如果HDFS中包含大量小文件，MapReduce启动的Map任务会过多，影响性能，建议使用hadoop archive合并或使用CombineFileInputFormat。

Q&A：MapReduce样例初始数据准备常见问题

问题1：如何快速生成大量样本数据？

可以使用Hadoop自带的RandomTextWriter，命令为hadoop jar hadoop-mapreduce-examples-.jar randomtextwriter -D test.randomtextwrite.total_bytes=1073741824 /user/hadoop/data，生成1GB随机文本，也可以使用TeraGen生成排序测试数据，从官网下载对应版本即可，对于HBase，可使用PerformanceEvaluation工具生成模拟数据。

问题2：HBase表数据量太大，如何抽样一部分作为MapReduce输入？

可以在Scan中设置setLimit和setMaxResultSize，或者使用PrefixFilter过滤行键前缀，如果只是验证程序，建议使用hbase shell的scan命令查看少量数据，再通过客户端程序批量导入需要的样本，对于大规模抽样，可以编写一个简单的MapReduce任务，读取全表并输出随机采样后的数据。参考1

问题3：数据上传后MapReduce作业报错“Input path does not exist”？

检查HDFS路径是否写全,且路径前有hdfs://namenode:port/前缀，使用相对路径时，系统可能默认当前目录，建议使用绝对路径，注意文件是否被移动或删除，用hdfs dfs -ls确认，对于HBase，检查表名和列族是否正确，确保TableInputFormat配置的扫描范围与实际表一致。

从HDFS文件到HBase表,准备MapReduce样例初始数据需要兼顾数据格式、存储位置和作业配置，只要按照上述步骤操作，就可以快速搭建出可靠的测试环境，为后续开发打下基础。