跳到主要内容

Apache Uniffle (Incubating)

Apache Uniffle 是一个适用于分布式计算引擎的高性能、通用型的远程 shuffle 服务。

快速

减少数据 shuffle 过程中的连接数和随机 I/O。

可靠

减少大型任务中出现内存(或磁盘空间)不足的故障。

弹性

支持编排和提高资源利用率。

Spark 支持

支持 Apache Spark 2.3.x, 2.4.x, 3.0.x, 3.1.x, 3.2.x, 3.3.x。

MapReduce/Tez 支持

支持 Apache Hadoop 2.8.x, 3.2.x 和 Apache Tez 0.9.1 的 MapReduce 架构

Kubernetes Operator

扩展 Kubernetes API 从而可以创建、配置和管理 Uniffle 实例。