Hadoop MapReduce POM文件是什么？，怎么配置？

Hadoop MapReduce的POM文件配置，核心在于引入hadoop-client依赖并根据集群环境锁定版本，否则极易出现与运行时环境不兼容的NoSuchMethodError等问题。参考2

Hadoop MapReduce POM配置的基本要素

一个标准的MapReduce项目,需要在pom.xml中添加对hadoop-client的依赖，这个依赖会传递引入hdfs、mapreduce、yarn等核心库，但直接使用Apache Hadoop的官方版本常常会遇到与CDH或HDP发行版不兼容的问题，多数情况下，我们会根据集群已安装的Hadoop版本来决定依赖版本。

加载中

04_使用Maven在idea创建MapReduce编程环境_运行官方WordCount程序_在线运行无需上传hadoop

云上贵猪

481043-

原视频地址

如何确定你的Hadoop版本？

• 登录集群节点,运行hadoop version命令，查看输出中的版本号。
• 检查/usr/lib/hadoop/etc/hadoop/hadoop-env.sh文件中的环境变量。
• 如果是CDH集群,可以通过Cloudera Manager界面查看组件版本。

一个最基本的pom依赖片段

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.7</version>
</dependency>

对于Apache Hadoop 3.x，同样可以使用hadoop-client，但部分场景下需要显式引入hadoop-client-api和hadoop-client-runtime，以便更精细地控制依赖。

为什么需要锁定传递依赖版本？

hadoop-client会引入大量第三方库，如protobuf、guava、jackson等，这些库的版本如果与项目中其他框架（如HBase、Spark）冲突，轻则编译警告，重则运行时抛出ClassNotFoundException。行业共识认为，在pom中使用dependencyManagement统一锁定这些传递依赖的版本，是避免此类问题的第一道防线。

Hadoop MapReduce Maven依赖版本选择的实战技巧

选择版本时,不仅要看hadoop-client本身，还要考虑Hadoop生态系统中的其他组件，如果你在开发一个同时使用Hive和MapReduce的应用，需要确保它们的Hadoop版本一致。业内专家指出，使用CDH发行版的版本号更容易保持兼容，因为CDH会在同一版本中集成经过测试的组件组合。

如何将Apache Hadoop版本转换为CDH版本？

• CDH的Maven artifact版本格式为hadoop-3.0.0-cdh6.3.2，其中0.0是Apache基础版本，cdh6.3.2是发行版标识。
• 需要在pom中添加Cloudera的repository：

  <repository>
    <id>cloudera</id>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  </repository>

• 避免使用SNAPSHOT版本,统计显示，生产环境问题中有相当一部分源于使用了未发布的快照依赖。

版本锁定与传递依赖管理

在dependencyManagement中统一声明关键版本：

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>com.google.guava</
groupId>
            <artifactId>guava</artifactId>
            <version>27.0-jre</version>
        </dependency>
        <dependency>
            <groupId>com.google.protobuf</groupId>
            <artifactId>protobuf-java</artifactId>
            <version>2.5.0</version>
        </dependency>
    </dependencies>
</dependencyManagement>

这样,无论hadoop-client传递进来哪个版本，最终都会使用你声明的版本。

解决Hadoop MapReduce POM依赖冲突的实操步骤

依赖冲突是MapReduce项目中最常见的坑,本地运行正常，提交到集群就报错，往往是因为本地编译时使用了开发环境的jar，而集群上有不同版本。

使用mvn dependency:tree诊断冲突

mvn dependency:tree -Dverbose

输出中会显示哪些依赖被重复引入,以及最终选用了哪个版本，重点关注conflicts标记。

排除不需要的传递依赖

在hadoop-client依赖中添加exclusions：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.7</version>
    <exclusions>
        <exclusion>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
        </exclusion>
        <exclusion>
            <groupId>com.google.protobuf</groupId>
            <artifactId>protobuf-java</artifactId>
        </exclusion>
    </exclusions>
</dependency>

然后在自己项目中引入你需要的版本。

使用maven-shade-plugin彻底解决类冲突

当冲突无法通过排除解决时（例如不同框架对同一个库的不同版本都有硬依赖），可以使用shade插件对hadoop包进行重命名，示例配置：

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>3.2.4</version>
    <executions>
        <execution>
            <phase>package</phase>
            <goals><goal>shade</goal></goals>
            <configuration>
                <relocations>
                    <relocation>
                        <pattern>com.google.common</pattern>
                        <shadedPattern>myapp.shaded.com.google.common</shadedPattern>
                    </relocation>
                </relocations>
            </configuration>
        </execution>
    </executions>
</plugin>

这样打包后的fat jar中，guava的所有类都被移到myapp.shaded.com.google.common下，完全避免了与集群环境的冲突。

企业级Hadoop MapReduce项目POM配置模板

一个适合生产环境的pom.xml，除了基础的hadoop-client依赖，还需要考虑编译、测试、打包等环节，以下是一个完整的模板框架，你可以根据实际项目调整。

关键配置项列表

• properties：定义Hadoop版本、Java版本、编码等。
• dependencyManagement：锁定所有传递依赖版本。
• dependencies：hadoop-client、junit（测试）、log4j等。
• build plugins：
  • maven-compiler-plugin：设置Java 8或11。
  • maven-surefire-plugin：跳过测试或配置适合Hadoop的测试环境。
  • maven-shade-plugin或maven-assembly-plugin：创建可提交的jar包。

模板核心片段

<properties>
    <hadoop.version>3.2.2</hadoop.version>
    <java.version>1.8</java.version>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <!-- 其他需要统一版本的依赖 -->
    </dependencies>
</dependencyManagement>
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.13.2</version>
        <scope>test</scope>
    </dependency>
</dependencies>
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.8.1</version>
            <configuration>
                <source>${java.version}</source>
                <target>${java.version}</target>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.2.4</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals><goal>shade</goal></goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

这个模板适用于国内企业级场景,尤其是当集群使用CDH或Apache Hadoop 3.x时，注意，如果你的集群是2.x，只需将hadoop.version改为2.7.7或2.9.2。

Hadoop MapReduce 2.x与3.x POM配置差异对比

很多开发者从2.x迁移到3.x时，发现原有pom报错，原因是API和依赖发生了变化，下表汇总了关键差异，方便你快速调整。

如果你使用的是CDH 6.x，它基于Hadoop 3.0.0，但依赖版本与Apache 3.x略有不同，建议在pom中直接使用CDH提供的BOM（Bill of Materials）来管理版本，参考2

<dependency>
    <groupId>com.cloudera.cdp</groupId>
    <artifactId>cdp-hadoop-bom</artifactId>
    <version>1.0.0</version>
    <type>pom</type>
    <scope>import</scope>
</dependency>

这样可以一次性锁定所有兼容版本,避免逐一手动指定。

Hadoop MapReduce POM文件常见问题解答

为什么我的MapReduce程序本地运行正常，提交到集群却报NoClassDefFoundError？

这是因为本地编译时使用了hadoop-client传递的jar，但集群环境中的Hadoop版本不同，导致某个类在集群上不存在，解决办法：在pom中锁定与集群完全一致的Hadoop版本，并使用shade打包将所有依赖打入jar中，或者，确保提交的jar不包含Hadoop自身的类（使用provided scope），但需要集群版本与编译版本一致。

如何在pom中配置CDH版本的Hadoop？

首先在pom中添加Cloudera仓库,然后将hadoop-client的版本改为0.0-cdh6.3.2之类的格式，注意，CDH的版本号与Apache不完全对应，建议查阅CDH官方文档确认，在dependencyManagement中引入CDH的BOM，可以自动管理所有兼容依赖。

Hadoop MapReduce项目需要哪些额外的依赖？

除了hadoop-client，通常还需要：

• junit：用于编写单元测试，scope为test。
• log4j或slf4j：控制日志输出，避免与集群日志框架冲突。
• hadoop-mapreduce-client-core：如果使用较新的API，有时需要显式引入。
• commons-cli：解析命令行参数，非必须但常用。
• 具体还需要根据你的项目是否涉及HDFS、YARN API来添加相应模块。