搭建Hadoop环境是HBase运行的基石，HBase依赖HDFS提供分布式存储，因此必须先搭建稳定可靠的Hadoop集群。
Hadoop和Hbase什么关系？理解底层依赖
行业共识认为，Hadoop与HBase是生态中的上下游关系，Hadoop的核心是HDFS（分布式文件系统）和YARN（资源调度），HBase则是一个面向列族的NoSQL数据库，它直接运行在HDFS之上，利用HDFS的容错能力存储海量数据，同时通过ZooKeeper管理集群状态，换句话说，没有Hadoop的环境，HBase只是一堆无法持久化的代码。HBase的RegionServer需要向HDFS读写文件，NameNode负责元数据，DataNode提供实际存储,所以搭建Hadoop环境是使用HBase的第一道门槛。参考2
很多初学者会问“hadoop和hbase什么关系”，其实从架构上看，HBase只依赖Hadoop的HDFS和ZooKeeper，并不需要MapReduce或YARN，但在生产部署中，HBase通常与Hadoop混部，共享节点资源，先搭建一个稳定、可扩展的Hadoop集群，再在其上叠加HBase,是标准做法。
搭建Hadoop环境需要什么配置？硬件与软件清单
搭建Hadoop环境需要什么配置，主要取决于你是单机测试、伪分布式还是全分布式集群，硬件方面，CPU建议4核以上，内存至少8GB（NameNode单独节点建议16GB以上），磁盘尽可能大且独立，最好使用多块磁盘挂载到不同目录，软件方面，操作系统推荐CentOS 7或Ubuntu 20.04 LTS，JDK必须使用1.8或更高版本（Hadoop 3.x推荐JDK 11）,SSH服务必须开启并配置免密登录。参考2
版本选择上，Hadoop 3.x已成为主流，它相比2.x支持了更高效的Erasure Coding、更好的NameNode HA等特性,下表对比两个版本的核心差异：
| 特性 | Hadoop 2.x | Hadoop 3.x |
|---|---|---|
| 最低JDK版本 | 7 | 8 |
| 存储效率 | 3副本 | 可配置Erasure Coding，节省约50%空间 |
| NameNode HA | 基于QJM或NFS | 原生支持，更稳定 |
| 容器化支持 | 有限 | 更好的YARN Federation |
如果你是企业级生产环境，建议直接选择Hadoop 3.3.x或3.4.x系列，同时注意HBase的兼容版本（HBase 2.4.x及以上通常支持Hadoop 3.x）。
Hadoop环境搭建步骤：从零开始配置集群
以下步骤基于Linux操作系统，以伪分布式模式为例，所有服务运行在一台机器上,但配置逻辑与多节点一致。
- 创建Hadoop用户：
sudo useradd -m hadoop，设置密码并赋予sudo权限（非root环境下运行）。 - 配置hosts和hostname：编辑
/etc/hosts，添加本机IP与主机名映射，例如168.1.100 hadoop-node，设置hostname为hadoop-node。 - 安装JDK并配置环境变量：下载JDK 11的tar包，解压到
/usr/local/java，在/etc/profile中添加JAVA_HOME和PATH，执行source /etc/profile生效。 - 配置SSH免密登录：切换至hadoop用户，生成密钥对
ssh-keygen -t rsa，将公钥追加到~/.ssh/authorized_keys，验证ssh localhost无需密码。 - 下载并解压Hadoop：从Apache Hadoop官网或国内镜像站下载二进制包，解压到
/usr/local/hadoop，并设置HADOOP_HOME环境变量。 - 修改核心配置文件：
hadoop-env.sh：设置JAVA_HOME为实际路径。core-site.xml：配置fs.defaultFS为hdfs://hadoop-node:9000，临时目录hadoop.tmp.dir建议指定一个独立目录。hdfs-site.xml：设置副本数dfs.replication为1（伪分布式），dfs.namenode.name.dir和dfs.datanode.data.dir指向已创建的目录。yarn-site.xml：配置yarn.nodemanager.aux-services为mapreduce_shuffle，yarn.resourcemanager.hostname为当前主机。mapred-site.xml：设置mapreduce.framework.name为yarn。
- 格式化NameNode：执行
hdfs namenode -format，注意格式化前确认数据目录为空,避免多次格式化导致集群ID不一致。 - 启动HDFS和YARN：在
$HADOOP_HOME/sbin下执行start-dfs.sh和start-yarn.sh，然后输入jps查看进程，应出现NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager等进程。 - 验证集群：通过浏览器访问
http://hadoop-node:9870（HDFS Web UI）和http://hadoop-node:8088（YARN UI）,确认各节点状态正常。
搭建过程中常见问题与解决
Hadoop环境搭建常见问题主要集中在以下几类，遇到时不必慌张,多半是配置细节疏忽。
- DataNode无法启动：检查
hdfs-site.xml中dfs.datanode.data.dir的目录是否存在且权限正确，同时确认防火墙没有阻塞9000端口，如果重新格式化NameNode，DataNode的clusterID会冲突,需要清空DataNode的data目录再重启。 - SSH免密登录失败：最常见原因是
authorized_keys文件权限过高，应设为600，且.ssh目录权限为700，同时检查主机名是否与known_hosts匹配。 - NameNode格式化后启动报错：通常是
dfs.namenode.name.dir目录指向了已有数据的路径，格式化时已有元数据残留,建议格式化前完全清空该目录。 - 端口被占用：9870、8088、9000等端口可能被其他进程占用，使用
netstat -tulnp查看并停用冲突进程，或修改core-site.xml中的端口号。
业内专家指出，百分之八十的搭建失败都源于配置文件的路径错误或漏写属性，建议每个文件修改后都检查一遍，尤其是xml标签是否闭合。参考2
HBase在Hadoop上的部署要点
HBase的安装相对简洁，但版本兼容性务必提前确认。HBase 2.4.x兼容Hadoop 2.x和3.x，HBase 2.5.x开始默认支持Hadoop 3.x，但HBase 2.0.x对Hadoop 3.x支持不完善,查官方兼容矩阵是最稳妥的做法。
部署步骤：
- 下载HBase二进制包，解压到
/usr/local/hbase
- 编辑
hbase-env.sh，配置JAVA_HOME并设置HBASE_MANAGES_ZK为true（让HBase自行管理ZooKeeper，生产环境建议外置ZK）。 - 修改
hbase-site.xml，核心属性包括：hbase.rootdir：指向HDFS上的目录，如hdfs://hadoop-node:9000/hbase。hbase.zookeeper.quorum：填写ZooKeeper节点主机名，单机模式下填hadoop-node。hbase.cluster.distributed：设为true表示分布式模式。
- 启动HBase：执行
start-hbase.sh，通过jps应看到HMaster和HRegionServer进程。 - 验证：使用HBase Shell创建表，插入数据，通过Web UI
http://hadoop-node:16010查看状态。
注意，HBase启动前必须确保Hadoop集群的HDFS和ZooKeeper运行正常,否则HMaster会一直尝试连接直到超时。
搭建Hadoop环境看似繁琐，但每一步都有明确目的，只要按照标准流程配置好JDK、SSH、核心文件，并注意版本兼容性，就能获得一个稳定的基础平台，当你成功在HDFS上部署HBase后，后续的Spark、Hive等组件也会触类旁通。
Hadoop和HBase搭建环境常见问题解答
Q1: Hadoop和HBase的版本必须完全一致吗？
A: 不需要完全一致，但必须兼容，HBase每个发行版都有对应的Hadoop版本列表，建议在Apache HBase官网的“Installation”页面查看“Hadoop Compatibility”表格，选择标注为“supported”或“tested”的版本组合。
Q2: 搭建Hadoop环境对内存的最低要求是多少？
A: 单机伪分布式模式下，至少需要2GB内存分配给NameNode和DataNode，否则进程会频繁OOM，生产环境每个节点建议16GB以上，其中NameNode监控节点内存需求更大,因为元数据直接存储在内存中。
Q3: HBase能否脱离Hadoop环境独立运行？
A: 不能，HBase依赖HDFS作为持久化存储，同时依赖ZooKeeper进行协调，所以HBase无法脱离Hadoop集群独立运行,部署时必须先搭建Hadoop环境。
首发原创文章，作者：王坚，如若转载，请注明出处：https://test.idctop.com/article/534159.html
