Apache DolphinScheduler是一个分布式、去中心化、可扩展的可视化DAG工作流任务调度系统,致力于解决数据处理流程中复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
软件特色
高可靠性
分散式多主多工自行支持HA功能,采用任务队列,避免过载,防止卡机。
简单易用
DAG监控界面,所有流程定义都是可视化的,DAG可以通过拖拽任务自定义,还可以通过API与第三方系统连接,一键部署。
丰富的使用场景
支持暂停和恢复操作。支持多租户,更好的应对大数据的使用场景。支持更多任务类型,如spark、hive、Mr、Python、sub _ process、shell等。
高扩展性
支持自定义任务类型。调度器采用分布式调度,调度能力随集群线性增长。主人和工人支持动态在线和离线。
功能介绍
1.根据任务的依赖关系,以DAG图的形式关联任务,可以直观地实时监控任务的运行状态。
2.支持rich 任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Sub_Process、Procedure等。
3.支持工作流计划调度、依赖调度、手动调度、手动暂停/停止/恢复、重试失败/报警、指定节点恢复失败、Kill任务等操作。
4.支持工作流优先级、任务优先级和任务故障切换和任务超时告警/故障。
5.支持工作流全局参数和节点自定义参数设置。
6.支持在线上传/下载和管理资源文件,支持在线创建和编辑文件。
7.支持任务日志在线观看和滚动,在线下载日志等。
8.实现集群HA,通过Zookeeper分散主集群和工作者集群。
9.支持在线查看主/工作cpu负载、内存和cpu。
10.支持工作流树形/甘特图显示运行历史、任务状态统计和流程状态统计。
11、支持补充
12.支持多租户。
13.支持国际化
14、还有更多等待伙伴去探索。
DolphinScheduler(可视化工作流任务调度系统)相关下载
- 查看详情WaStar 网上商店系统 v3.0.5简体2023-03-26
- 查看详情SymPy(Python符号数学库)简体2023-03-19
- 查看详情tui calendar(JavaScript日程表)简体2023-03-12
- 查看详情auxpi(简单图床应用)简体2023-03-09
- 查看详情irrXML(开源xml解析工具)简体2023-03-04
- 查看详情 WaStar 网上商店系统 v3.0.5 简体中文 2023-03-26
- 查看详情 SymPy(Python符号数学库) 英文 2023-03-19
- 查看详情 tui calendar(JavaScript日程表) 英文 2023-03-12
- 查看详情 auxpi(简单图床应用) 简体 2023-03-09
- 查看详情 irrXML(开源xml解析工具) 简体 2023-03-04
- 查看详情 宏程序自动生成器 简体 2023-03-26
- 查看详情 Sourcetrail(源码资源管理器) 英文 2023-03-26
- 查看详情 鱼跃CMS 简体 2023-03-26