CodeCow/datax-web: DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。 - datax-web - Code transforms the world!

CodeCow/datax-web

mirror of https://github.com/WeiYe-Jing/datax-web.git synced 2026-06-30 21:17:37 +08:00

DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

Go to file

weiye 23d20c7f70 整合xxl-job		2019-11-18 15:42:55 +08:00
datax-admin	整合xxl-job	2019-11-18 15:42:55 +08:00
datax-core	整合xxl-job	2019-11-18 15:42:55 +08:00
datax-executor	整合xxl-job	2019-11-18 15:42:55 +08:00
doc	整合xxl-job	2019-11-18 15:42:55 +08:00
.gitignore	整合xxl-job	2019-11-18 15:42:55 +08:00
pom.xml	整合xxl-job	2019-11-18 15:42:55 +08:00
README.md	整合xxl-job	2019-11-18 15:42:55 +08:00

README.md

preparation

Language: Java 8
Environment: MacOS, 16G RAM
Database: Mysql5.7
Python2.7(不支持Python3)

todo list

springboot重构项目
集成swagger，方便调试
集成mybatis plus和Mysql数据库存放应用数据
网页端修改并持久化job配置的json到数据库
网页端实时查看抽取日志，类似Jenkins的日志控制台输出功能
实时查看抽取日志BUG功能修复2019-11-07
job运行记录展示，页面操作停止datax作业（开发中）
实现datax分布式作业（开发中）
实现datax集成定时任务（开发中）
网页端各种读写插件模板生成，可以在页面组装使用
实现部分写插件支持自动建表功能git lo

前端项目

how to run

1. 下载datax打包之后的文件或者github拉取datax代码打包，配置环境变量

 DATAX_HOME=G:\learndemo\springboot-datax\datax\bin

2. 执行datax-web/db下面的sql文件并修改application.yml数据库配置信息

3. application.yml配置数据抽取日志文件保存路径

etlLogDir: D:\temp\logs\datax-web\

4. 终端访问测试作业接口

curl http://localhost:8080/startJob

可以看到成功跑完一个datax作业

5. 打开网页端启动作业

http://localhost:8080/index.html#/datax/job

6. 在线查看作业日志

QQ交流群 776939467