Hadoop不是传统意义上的数据库，而是一套开源的分布式存储与计算框架，擅长用普通服务器集群处理海量数据。它把大文件切块存到多台机器上，再用并行计算把任务拆开跑，适合离线批处理、数据仓库和日志分析。
初识Hadoop：它到底解决了什么问题
为什么说Hadoop不是数据库
很多人把Hadoop和MySQL放在一起比较，但这就像拿货运火车和家用轿车比，MySQL是典型的关系型数据库，支持事务、索引、行级锁，适合在线交易，Hadoop的底座是HDFS分布式文件系统，它把文件切成128MB的块，分散存储在不同节点上，这里没有SQL解析，没有事务日志，它的核心目标是低成本存下海量数据。
Hadoop生态里真正接近数据库的是HBase，这是一个列式存储的分布式数据库，支持实时读写，但通常说”hadoop分布式数据库”，指的还是整个生态组合：HDFS负责存，MapReduce或Spark负责算,Hive负责把SQL翻译成计算任务。
核心组件各管哪摊事
- HDFS：分布式的文件柜，默认把每个数据块复制3份，放在不同机架上,防止机器宕机丢数据。
- YARN：资源调度员，决定哪台机器跑哪个任务,管理内存和CPU分配。
- MapReduce：老牌计算引擎，把复杂任务拆成Map和Reduce两个阶段,适合离线批量处理。
- Hive：把SQL翻译成MapReduce或Spark任务的翻译官,让熟悉SQL的人不用写Java就能查数。
- ZooKeeper：集群的协调员，负责选主、配置同步、分布式锁。
hadoop分布式数据库适合什么场景
两类最典型的用武之地
一类是数据仓库的底座，电商公司每天产生几亿条订单日志、用户行为日志，MySQL撑不住这么大的写入量，HDFS就能把这些原始数据原样收下，另一类是离线批处理，比如凌晨跑全量报表，统计过去30天的用户留存、复购率，这类任务不要求秒级响应，跑几个小时没关系，但数据量巨大,正是Hadoop的强项。
行业共识认为，Hadoop在互联网公司的大数据平台里，扮演的是”数据湖”的角色先把所有数据一股脑存进来，等需要的时候再慢慢清洗、加工、分析。
什么场景别选Hadoop
- 实时查询：用户点一下页面，3秒内要出结果，Hadoop做不到,得用ClickHouse或Elasticsearch。
- 事务处理：转账、扣库存这种强一致性的操作，千万别用Hadoop,它的设计初衷就不是干这个。
- 小数据量：一张表几十万行，用MySQL、PostgreSQL轻松搞定,架一套Hadoop集群反而麻烦。
hadoop和mysql区别：一个管分析，一个管交易
底层架构思维完全不同
MySQL是单机数据库，靠主从复制和分库分表来扩展，数据量到千万级别就要考虑优化，Hadoop从诞生那天起就是为集群设计的，一台机器不够就加机器，扩容就是加节点这么简单。
MySQL存储的是结构化数据，行和列关系明确，支持ACID事务，HDFS没有schema的概念，什么格式都能存文本、JSON、图片、视频，来者不拒，计算模式上，MySQL用B+树索引加速查询，Hadoop用MapReduce全表扫描,这决定了它们各有各的赛道。
用一张表说清楚
| 对比维度 | MySQL | Hadoop生态 |
|---|---|---|
| 核心定位 | 关系型数据库 | 分布式存储+计算框架 |
| 数据规模 | 千万级到亿级 | 百TB到PB级 |
| 查询延迟 | 毫秒级 | 分钟级到小时级 |
| 事务支持 | 完整ACID | 不做事务 |
| 扩展方式 | 主从复制、分库分表 | 水平加节点 |
| 上手门槛 | SQL即可 | 需要懂Java、Shell、Linux |
| 典型场景 | 在线交易、后台管理 | 数据仓库、日志分析、机器学习底座 |
技术选型怎么拍板
一句话总结：数据量没过亿，别碰Hadoop，大多数中小企业的业务数据，用MySQL加上Redis缓存就够用了，只有当数据量大到MySQL撑不住，或者需要跑复杂的离线分析任务,才值得考虑hadoop数据仓库搭建。
hadoop部署要多少钱：算清这笔账再动手
硬件成本没那么吓人
Hadoop的卖点就是
用廉价硬件堆出高性能，不用买小型机，普通的X86服务器就行，一个入门级的3节点集群，每台配8核CPU、32GB内存、4TB硬盘，单台成本在1到2万元，总共四五万块就能跑起来，如果数据量不大，用云服务器更省事，按量付费,一个月几千块也能起步。
真正贵的是运维成本
硬件的钱只是零头，Hadoop集群的运维复杂度远超MySQL，节点宕机、磁盘损坏、数据倾斜、内存溢出，这些问题在集群环境里是家常便饭，企业通常需要组建专门的大数据团队，一个熟练的Hadoop工程师年薪在30万以上，这才是大头，据统计，一个中型集群的年度总成本,人力占七成左右。
三条务实建议
- 先想清楚业务真的需要Hadoop,还是跟风上大数据项目。
- 团队里至少要有一个人能看懂Hadoop日志,否则遇到问题只能干瞪眼。
- 预算有限的话，先用CDH或HDP的社区版，或者直接用云厂商的托管版,省去运维麻烦。
一套完整的Hadoop集群搭建流程
准备阶段
准备3台CentOS系统的服务器，修改主机名，配置免密登录，关闭防火墙，这一步是基础,很多新手在这里卡住。
# 在每台机器上执行 hostnamectl set-hostname hadoop101 # 生成SSH密钥并分发 ssh-keygen -t rsa ssh-copy-id hadoop102 ssh-copy-id hadoop103
安装配置
下载JDK8和Hadoop 3.x版本，解压后配置环境变量，核心配置文件有四个,每个都有讲究。
# core-site.xml配置NameNode地址
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9820</value>
</property>
# hdfs-site.xml设置副本数为3
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
启动验证
第一次启动要先格式化NameNode，然后逐个启动进程，用jps命令检查各节点进程是否正常。
hdfs namenode -format start-dfs.sh jps
看到NameNode、DataNode、SecondaryNameNode三个进程都活着，说明HDFS搭好了，再装个Hive，配好MySQL作为元数据库,就能用SQL查数据了。
hadoop分布式数据库怎么搭建才能少走弯路
版本选择是第一个坑
Apache官方版本和CDH发行版各有优劣，官方版更新快、文档全，但组件间兼容性要自己操心，CDH把Hadoop生态打包，版本兼容性验证过，操作界面友好，但新版收费，没经验的话，选CDH 6.x的免费版最稳妥。
配置参数要按实际调
默认配置只是跑通流程，生产环境必须调优，比如HDFS的副本数，数据重要性高就设3份，测试环境可以设1份省空间，YARN的资源分配，要按每台机器的内存和CPU核数精确计算,否则容易出现资源浪费或任务排队。
建议先跑通一个完整需求
不要光看教程，找个真实场景练手，比如分析一年的用户订单数据，从数据导入、清洗、统计到出报表，完整走一遍，实际操作中遇到的问题，比看十篇hadoop入门文章都有用，遇到OOM（内存溢出）别慌，这是最常见的，调大mapreduce.map.memory.mb参数就行。
关于Hadoop的常见疑问
Hadoop和Spark哪个更好用
两者不是替代关系，是互补关系，Hadoop的MapReduce适合跑大批量离线任务，稳定可靠；Spark基于内存计算，速度比MapReduce快很多，适合需要反复迭代的机器学习算法，现在的做法通常是：HDFS负责存数据，Spark负责算数据,各取所长。
没有编程基础能学好Hadoop吗
能，但上限有限，Hadoop生态的Hive、HBase这些组件，用SQL就能操作，业务人员经过培训也能上手，但要深入调优、排查问题，必须懂Java和Linux，建议先学SQL和Linux基础，再逐个攻破HDFS、Hive、HBase,最后学Spark。
云上的Hadoop和自建有什么区别
主要差在运维和成本模式，云厂商的EMR服务，按小时计费，不用了就释放，适合业务量波动大的场景，自建集群一次性投入硬件成本，长期跑量大更划算，但运维精力投入大，近几年，越来越多的企业选择云上托管方案,把精力放在业务开发上。
Hadoop用十年时间验证了分布式架构处理海量数据的可行性，它不适合所有场景，但在数据仓库、离线分析这个领域，依然是绕不开的底座。做技术选型别追新，先把业务特点和数据规模摸清楚，再决定要不要上Hadoop。
首发原创文章，作者：王坚，如若转载，请注明出处：https://test.idctop.com/article/557001.html
