CloudEon 是基于 Kubernetes 的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，您可减少对于底层资源的运维关注。
该项目搬运于Dromara CloudEon，是在CloudEon:dev2.0的基础上进行升级改造。
项目相关介绍，使用，最佳实践等相关内容，都会在官方文档呈现，如有疑问，请先阅读官方文档，以下列举以下常用快链。
| 序号 | 名称 | 版本 | 描述 |
|---|---|---|---|
| 1 | Prometheus | 2.17.2 | 高性能监控指标采集与告警系统 |
| 2 | Grafana | 9.1.6 | 监控分析与数据可视化套件 |
| 3 | AlertManager | 0.23.0 | 告警通知管理系统 |
| 4 | Global | 1.0.0 | 全局配置 |
| 5 | Helm | 0.15.4 | 简化 Kubernetes 应用部署和管理的工具 |
| 6 | HDFS | 3.3.4 | 分布式大数据存储 |
| 7 | YARN | 3.3.4 | 分布式资源调度与管理平台 |
| 8 | ZooKeeper | 3.7.1 | 分布式协调系统 |
| 9 | Minio | 2021-04-22T15-44-28Z | S3分布式对象存储系统 |
| 10 | Hive | 3.1.3 | 离线数据仓库 |
| 11 | Spark | 3.2.3 | 分布式计算系统 |
| 12 | Flink | 1.20.1 | 实时计算引擎 |
| 13 | Paimon | 1.0.1 | 流批统一的数据处理存储系统 |
| 14 | Dinky | 1.2.3 | 流处理极速开发框架,流批一体&湖仓一体的云原生平台 |
| 15 | Doris | 2.1.9 | 新一代极速全场景MPP数据库 |
| 16 | StarRocks | 3.3.13 | 新一代极速全场景MPP数据库 |
| 17 | Kafka | 4.0.0 | 高吞吐量分布式发布订阅消息系统 |
| 18 | DolphoinScheduler | 3.1.9 | 分布式易扩展的可视化工作流任务调度平台 |
| 19 | Hbase | 2.4.16 | 分布式列式存储数据库 |
| 20 | ElasticSearch | 7.16.3 | 高性能搜索引擎 |
| 21 | DataVines | 1.0.0 | 一站式开源数据可观测性平台，内置元数据管理、数据质量管理等 |
| 22 | DataX & DataXWeb(单节点) | 3.0.0-2.1.2 | 阿里巴巴开源数据同步工具 |
| 23 | Seatunnel & SeatunnelWeb | 2.3.8-1.0.2 | 海量数据同步引擎 |
| 24 | Filebeat | 7.16.3 | 日志采集工具 |
| 25 | Kylin | 5.0.0 | 大数据开源OLAP 引擎 |
| 26 | Trino | 424 | 离线数据仓库分布式Sql交互式查询引擎 |
| 27 | Kyuubi | 1.7.0 | 分布式和多租户的SQL网关 |
| 28 | Solr | 8.11.4 | 企业级的搜索引擎系统 |
注：排名不分先后
- 实现大数据相关组件集群进行横向扩容 -在原先部署好的服务进行添加新实例(苦恼中...)
- 前后端新增添加用户(admin用户才有添加权限)和修改密码的功能,并修复前端页面在登录状态刷新就跳转到登录页面
- 集成StarRocks，并添加监控
- 集成升级Doris2.1.9高版本
- 集成DataX && DataXWeb-单节点
- 集成升级Kafka4.0.0&3.9.0-KRaft模式
- 集成升级Dinky1.2.3
- 集成Flink1.20.1升级-支持Flink全方面功能(原作者Flink只是部署History服务),包括Python、Minio、FlinkCDC、Kafka、Paimon等支持
- 集成Minio:2021-04-22T15-44-28Z
- 集成升级Seatunnel:2.3.8 && Seatunnel_Web:1.0.2
- 集成DolphinScheduler-3.1.9降级-3.2+版本目前反馈有存在Bug，不适合用于生产
- 集成DataVines:1.0.0(暂不支持 Flink 引擎)
- 集成Redis8.0.0(想法中)
- 集成Superset(想法中)
- 集成Ranger权限控制框架(在办)
- 集成Solr
- ......
- 如果觉得项目不错，麻烦动动小手点个⭐️star⭐️!
- 如果你还有其他想法或者需求，欢迎在issue中交流！
如果你所在公司使用了该项目，烦请在这里留下脚印，感谢支持🥳 点我
感谢如下优秀的项目，没有这些项目，不可能会有CloudEon：
-
后端技术栈
-
前端技术栈
-
另外特别感谢
- Ambari ：参考其对大数据组件的安全管理、可拓展大数据组件包管理
- datasophon ：参考其优秀的监控告警体系
（添加请备注CloudEon）
Thanks goes to these wonderful people (emoji key):
Pandas886 💻 |
Mericol 💻 |
Koyfin 🚇 |
mechaelyoung 💻 |
且炼时光 💻 |
XiuhongTang 💻 |
KangTomwk 💻 |
Cheng Pan 💻 |
maiwang li 💻 |
liang281778527 💻 |
anzhen-tech 💻 |
奋斗吧少年 💻 |
rugalcrimson 💻 |
buer 💻 |
This project follows the all-contributors specification. Contributions of any kind welcome!