一、介绍

 

seatunnel 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上，每天可以稳定高效同步数百亿数据，已在近百家公司生产上使用。

 

可以直接运行的软件包下载地址：https://github.com/InterestingLab/seatunnel/releases

 

快速入门：https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/quick-start

 

关于 seatunnel 的详细文档

 

二、为什么我们需要 seatunnel

 

seatunnel 尽所能为您解决海量数据同步中可能遇到的问题：

 

数据丢失与重复

 

任务堆积与延迟

 

吞吐量低

 

应用到生产环境周期长

 

缺少应用运行状态监控

 

三、seatunnel 使用场景

 

海量数据同步

 

海量数据集成

 

海量数据的 ETL

 

海量数据聚合

 

多源数据处理

 

四、seatunnel 的特性

 

简单易用，灵活配置，无需开发

 

实时流式处理

 

离线多源数据分析

 

高性能、海量数据处理能力

 

模块化和插件化，易于扩展

 

支持利用 SQL 做数据处理和聚合

 

支持 Spark Structured Streaming

 

支持 Spark 2.x