Appearance
Hive SQL 调优与常见坑：为什么 SQL 能跑完，却总是跑得很慢
Hive SQL 的典型问题往往不是：
- 跑不出来
而是：
- 能跑
- 但总是很慢
先说结论
Hive 调优最值得优先看的通常是：
- 扫描数据量是不是太大
- Join 是否合理
- 小文件是否过多
- 分区过滤有没有真正生效
一、为什么扫描量永远是第一位
因为很多 SQL 慢的根因，最后都能归到：
- 读太多
如果分区没裁剪好，或者写法让优化器没法有效利用过滤条件，再多调优也很有限。
二、Join 为什么经常是性能大坑
因为离线链路里最容易出现：
- 大表 Join 大表
- 数据倾斜
- 中间结果膨胀
这类问题一旦出现，任务耗时会被迅速放大。
三、小文件为什么这么烦
小文件问题会直接带来：
- 元数据压力
- 任务调度开销
- 查询效率下降
很多 Hive 链路越跑越重，小文件往往是长期根因之一。
一句话总结
Hive SQL 调优真正重要的，不是背参数，而是先把：
- 扫描量
- Join 模型
- 分区过滤
- 小文件问题
这四件事压下来。