常见大数据平台搭建工具对比介绍（HDP、CDH、CDP）
作者：hangge | 2025-06-16 09:07
1，什么是大数据平台？
（1）企业如果想从传统的数据处理转型到大数据处理，首先要做就是搭建一个稳定可靠的大数据平台。
（2）一个完整的大数据平台需要包含数据采集、数据存储、数据计算、数据分析、集群监控等功能，这就意味着其中需要包含 Flume、Kafka、Hadoop、Hive、HBase、Spark、Flink 等组件，这些组件需要部署到上百台甚至上千台机器中。
（3）如果依靠运维人员单独安装每一个组件，则工作量比较大，而且需要考虑版本之间的匹配问题及各种冲突问题，并且后期集群维护工作也会给运维人员造成很大的压力。
（4）于是，国外一些厂商就对大数据中的组件进行了封装，提供了一体化的大数据平台，利用它可以快速安装大数据组件。
2，常见的大数据平台工具
（1）HDP：全称是 Hortonworks Data Platform。它由 Hortonworks 公司基于 Apache Hadoop 进行了封装，借助于 Ambari 工具提供界面化安装和管理，并且集成了大数据中的常见组件，可以提供一站式集群管理。
- HDP 属于开源版免费大数据平台，没有提供商业化服务。
- HDP 最终卒于 3.x 版本。
（2）CDH：全称是 Cloudera Distribution Including Apache Hadoop。它由 Cloudera 公司基于 Apache Hadoop 进行了商业化，借助于 Cloudera Manager 工具提供界面化安装和管理，并且集成了大数据中的常见组件，可以提供一站式集群管理。
- CDH 属于商业化收费大数据平台，默认可以试用 30 天。之后，如果想继续使用高级功能及商业化服务，则需要付费购买授权；如果只使用基础功能，则可以继续免费使用。
- CDH 最终卒于 6.x 版本。
提示：使用 CDH 和 HDP 搭建的大数据集群，和使用 Apache 官方安装包搭建的大数据集群在使用层面是一样的，只是安装方式不一样而已。
- CDP 将 HDP 和 CDH 中比较优秀的组件进行了整合，并且增加了一些新的组件。
提示：Cloudera 公司宣布将对现有的 CDH 和 HDP 平台提供技术支持直至 2022 年 1 月，后期将不再继续支持。
3，大数据平台工具 HDP
（1）目前 HDP 最新版本是 3.1.5，主要包括 Hadoop、Hive、HBase 等核心组件，其整体架构如下图所示：
注意：图中只列出了部分组件，未列出所有的组件。
（2）HDP 3.1.5 核心组件的版本见下表：
注意：Flume、Impala、Hue 等常用组件没有被集成在 HDP 中，需要单独安装。
| 组件名称 | 组件版本 |
| Aflas | 2.0.0 |
| Druid | 0.12.1 |
| Hadoop | 3.1.1 |
| HBase | 2.1.6 |
| Hive | 3.1.0 |
| Kafka | 2.0.0 |
| Oozie | 4.3.1 |
| Phoenix | 5.0.0 |
| Range | 1.2.0 |
| Spark | 2.3.2 |
| Sqoop | 1.4.7 |
| Stom | 1.2.1 |
| Tez | 0.9.1 |
| Zeppelin | 0.8.0 |
| ZooKeeper | 3.4.6 |
4，大数据平台工具 CDH
（1）目前 CDH 最新版本是 6.3.4，主要包括 Hadoop、Hive、HBase 等核心组件，其整体架构如下图所示：
注意：图中只列出了部分组件，未列出所有的组件。
（2）CDH 6.3.4 核心组件的版本号见下表：
| 组件名称 | 组件版本 |
| Avro | 1.8.2 |
| Flume | 1.9.0 |
| Hadoop | 3.0.0 |
| HBASO | 2.1.4 |
| Hive | 2.1.1 |
| Hue | 4.4.0 |
| Impala | 3.2.0 |
| Kafka | 2.2.1 |
| Kudu | 1.10.0 |
| Sol | 7.4.0 |
| Oozie | 5.1.0 |
| Spark | 2.4.0 |
| SparkStreaming | 2.4.0 |
| Sqoop | 1.4.7 |
| ZooKeeper | 3.4.5 |
5，大数据平台工具 CDP
（1）目前 CDP 的最新版本是 7.1.7，主要包括 Hadoop、Hive、HBase 等核心组件，其整体架构如下图所示：
注意：图中只列出了部分组件，未列出所有的组件。
（2）CDP 7.1.7 核心组件的版本号见下表：
| 组件名称 | 组件版本 |
| Atlas | 2.1.0 |
| Ayro | 1.8.2 |
| Hadoog | 3.1.1 |
| HBase | 2.2.3 |
| Hive | 3.1.3 |
| Hue | 4.5.0 |
| Impala | 3.4.0 |
| Kafka | 2.5.0 |
| Kudu | 1.15.0 |
| Ozone | 1.1.0 |
| Oozie | 5.1.0 |
| Phoenk | 5.1.1 |
| Range | 2.1.0 |
| Solr | 8.4.1 |
| Spark | 2.4.7 |
| Sqoop | 1.4.7 |
| TeZ | 0.9.1 |
| Zeppelin | 0.8.2 |
| ZooKeeper | 3.5.5 |
全部评论（0）