Hive
数仓引擎
类SQL读取、写入和管理,驻留在HDFS中的、PB级数据的、分布式分析型数据仓库
Spark
大数据分析框架
用于执行数据工程的多语言引擎,支持SQL语法进行离线、实时计算的高性能大数据框架
Flink
分布式处理引擎
基于内存的流数据和批数据,有状态计算的企业级超大规模分布式处理引擎
Kafka
消息发布与订阅
支持高性能数据管道、流分析、数据集成的一套高吞吐的分布式发布订阅消息系统
Trino
SQL 查询引擎
用于大数据分析的快速分布式SQL查询引擎
Impala
数仓引擎
基于Hadoop的本地化数据分析的分布式数据库
Hudi
数据湖平台
具有事务性(更新数据和删除数据)的、具有数据库和数仓功能的数据湖平台
Ranger
数据权限控制
用于启用、监控和管理Hadoop生态系统的数据权限管理框架
Atlas
元数据及治理服务
可扩展的、允许数据生态系统集成的企业级元数据管理和基础治理服务
DolphinScheduler
可视化 DAG 调度
分布式易扩展的、具有可视化DAG界面的工作流任务调度平台