Java连接MySQL和Sqoop连接MySQL都基于JDBC驱动，但前者用于应用层实时数据交互，后者用于大数据生态中的批量数据迁移，两者在驱动加载方式、连接串参数和安全认证上有明显差异。
Java连接MySQL的详细步骤有哪些
驱动加载与环境准备
- 在项目中引入MySQL JDBC驱动依赖，Maven项目添加
mysql-connector-java，Gradle项目类似，传统Web应用需将驱动jar放入WEB-INF/lib。 - 驱动类版本对应：MySQL 5.x使用
com.mysql.jdbc.Driver，MySQL 8.0以上使用com.mysql.cj.jdbc.Driver，JDBC 4.0后驱动可自动注册，但显式加载在维护性上更清晰，行业共识认为生产环境仍建议保留Class.forName。 - 确保MySQL服务允许远程连接,检查网络和防火墙策略。
标准JDBC连接串写法
- 基本格式：
jdbc:mysql://主机地址:端口/数据库名?参数1=值1&参数2=值2 - 常见参数清单：
useSSL=false：关闭SSL警告，用于内网环境。serverTimezone=Asia/Shanghai或UTC：解决MySQL 8.0以上时区错误。allowPublicKeyRetrieval=true：配合caching_sha2_password认证插件使用。characterEncoding=utf-8：防止中文乱码。
- 示例：
jdbc:mysql://192.168.1.10:3306/sales_db?useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
连接建立与基本操作
- 获取连接：
Connection conn = DriverManager.getConnection(url, username, password) - 执行SQL：
- 使用
Statement执行静态SQL，但推荐PreparedStatement预防SQL注入。 - 示例：
PreparedStatement ps = conn.prepareStatement("SELECT FROM users WHERE id = ?"); ps.setInt(1, userId);
- 使用
- 遍历结果：
ResultSet rs = ps.executeQuery(); while(rs.next()) { ... } - 资源关闭：在
finally块中调用rs.close(),ps.close(),conn.close()，或使用try-with-resource语法。 - 生产环境使用连接池（如HikariCP、Druid），避免反复创建连接的开销。
常见问题与排查
- 驱动版本不匹配：
ClassNotFoundException或Unsupported major.minor version，检查驱动jar版本与MySQL服务器版本是否对应。 - 连接超时：
Connection refused或connect timed out，确认MySQL端口（默认3306）是否开放，bind-address
是否允许远程IP。
- SSL连接错误：在URL末尾添加
useSSL=false，若需SSL，配置trustStore等证书参数。 - 时区异常：
The server time zone value 'xxx' is unrecognized，设置serverTimezone为具体时区或使用serverTimezone=UTC。 - 认证插件问题：MySQL 8.0默认使用
caching_sha2_password，Java驱动需满足版本要求，或修改MySQL用户认证方式为mysql_native_password。
Sqoop如何连接MySQL数据库实战
Sqoop与MySQL的依赖关系
- Sqoop是Apache Hadoop的数据传输工具，通过JDBC连接关系型数据库。
- 使用前必须将MySQL JDBC驱动jar放入
$SQOOP_HOME/lib目录，或通过--driver参数指定类路径。 - 驱动版本兼容性：推荐使用
mysql-connector-java-5.1.49与MySQL 5.x/8.x配合，或使用8.0.x驱动并确保Sqoop版本支持。 - 若使用CDH/HDP发行版，内置驱动可能老旧，需手动替换。
连接字符串与参数配置
- 连接串格式与Java JDBC完全一致，通过
--connect参数传递。 - 示例：
--connect jdbc:mysql://192.168.1.100:3306/analytics?useSSL=false&serverTimezone=UTC - 认证参数：
--username root --password 123456（明文，不推荐生产环境）- 推荐使用
--password-file /path/to/pwd.txt或-P交互式输入密码。
- 显式指定驱动类：
--driver com.mysql.cj.jdbc.Driver（当检测不到时使用）。 - 其他连接属性：通过
-D定义，如-D mapreduce.jdbc.url等，或使用--connection-param-file。
典型导入命令示例
- 导入到HDFS：
sqoop import --connect jdbc:mysql://localhost:3306/mydb --username root --password 123456 --table orders --target-dir /user/hadoop/orders --fields-terminated-by ',' --num-mappers 4 - 导入到Hive：
sqoop import --connect jdbc:mysql://node1:3306/mydb --username root --password 123456 --table employees --hive-import --hive-table staging.employees
自动创建Hive表并加载数据，--hive-overwrite可覆盖已有数据。 - 增量导入：
sqoop import --connect ... --table orders --incremental append --check-column order_id --last-value 10000 --target-dir /user/hadoop/orders
只导入order_id大于10000的新增记录。 - 导入到HBase
：
sqoop import --connect ... --table users --hbase-table users --column-family info --hbase-row-key id
导出数据到MySQL
- 命令结构：
sqoop export --connect jdbc:mysql://localhost:3306/target_db --table result --export-dir /user/hadoop/output --input-fields-terminated-by ',' - 目标表必须存在,字段顺序与HDFS数据保持一致。
- 使用
--update-key和--update-mode实现更新插入，避免主键冲突。
常见错误与解决方案
- 驱动未找到（ClassNotFoundException）：将正确的驱动jar复制到
$SQOOP_HOME/lib，并重启任务，若使用--driver，需同时指定--class-name。 - 连接拒绝（Connection refused）：检查MySQL主机端口、防火墙，以及
skip-networking是否禁用。 - 字符集乱码：在连接串后追加
?useUnicode=true&characterEncoding=utf-8，或使用-D属性传递。 - 内存溢出或任务挂起：减少
--num-mappers并行度，或增大--fetch-size（默认1000）降低请求次数。 - 权限问题：MySQL用户需具有
SELECT、LOCK TABLES等权限，导出时可能还需RELOAD权限。
Java连接MySQL与Sqoop连接MySQL的异同
本质区别
- Java连接MySQL：面向应用层，每个请求占用一个连接，适合事务性操作，强调低延迟和稳定性。
- Sqoop连接MySQL：通过MapReduce任务批量读取数据，适合全表或查询结果传输，追求高吞吐量和并行度。
参数配置差异
| 对比维度 | Java JDBC连接 | Sqoop连接 |
|---|---|---|
| 连接串传递 | 在代码中硬编码URL | 通过--connect参数传递 |
| 密码处理 | 通常配置在文件或环境变量 | 支持--password-file或-P交互输入 |
| 驱动加载 | 自动注册或显式Class.forName | 依赖jar位置或--driver参数 |
| 并行控制 | 连接池管理连接数 | 通过--num-mappers控制Map任务数 |
| SSL配置 | 在URL中添加useSSL等参数 | 同样在URL中添加，或使用-D属性 |
场景选择建议
- 实时操作（如用户登录、订单查询）：使用Java JDBC连接，配合连接池实现毫秒级响应。
- 批量数据迁移（如将MySQL历史数据导入Hive进行分析）：使用Sqoop，利用Hadoop并行能力高效传输。
- 混合架构：常见于企业数据平台，Java应用负责业务入库，Sqoop负责周期性将数据同步到数据仓库。
- 小规模数据（千万级以下）：Java直接读取也可，但需自行处理断点续传和分片策略，Sqoop更适合大数据量，但配置稍复杂。
Q&A：Java连接MySQL和Sqoop连接MySQL常见问题
问：Java连接MySQL时提示Public Key Retrieval is not allowed，如何解决？
答：在JDBC连接URL中添加allowPublicKeyRetrieval=true参数，并确保useSSL=false，此问题出现在MySQL 8.0以上使用caching_sha2_password认证插件时，该参数允许客户端从服务器获取公钥，但可能带来中间人攻击风险，仅在受信任网络中使用，更安全的做法是将MySQL用户认证改为mysql_native_password。
问：Sqoop连接MySQL时总是报ClassNotFoundException，如何处理？
答：首先确认MySQL JDBC驱动jar是否在$SQOOP_HOME/lib目录下，若使用--driver参数，需同时传递--class-name指定驱动类，并确保jar在类路径中，最稳妥的方式是将正确版本的驱动jar复制到lib目录，并重启Sqoop任务，部分发行版（如CDH）自带驱动，但版本可能不匹配，建议替换为对应版本，检查Sqoop版本与驱动版本的兼容性，多数情况下mysql-connector-java-5.1.49通用性较好。
问：Sqoop导入MySQL数据时速度很慢，如何优化？
答：增加--num-mappers并行度，但需注意MySQL连接数限制和表锁问题，使用--split-by指定合理的分片列（如自增主键），避免数据倾斜，调整--fetch-size（默认1000）增大单次获取行数，减少网络交互，若MySQL表数据量大，建议在分片列上创建索引，对于大字段（如TEXT、BLOB），使用--blob-skip或--map-column-java指定类型映射，避免序列化开销，业内专家指出，多数情况下将--num-mappers设为4-8，并配合--split-by主键，性能提升明显，若仍慢，考虑使用--direct模式（通过MySQL的mysqldump工具）但需注意该模式不支持所有场景。
无论是Java连接MySQL还是Sqoop连接MySQL，关键是理解JDBC机制和MySQL驱动特性，Java侧重稳定性和实时性，Sqoop侧重吞吐量和并行迁移，掌握两者能让你在不同场景下灵活选择。
首发原创文章，作者：王坚，如若转载，请注明出处：https://test.idctop.com/article/543664.html
