CodeCow/datax-web
1
0
Fork 0
mirror of https://github.com/WeiYe-Jing/datax-web.git synced 2026-07-03 21:08:58 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。
124 Commits 6 Branches 6 Tags 292 MiB
JavaScript 56%
Java 42%
Shell 1.7%
HTML 0.3%
38c5d6fe49
Go to file
景文凯 38c5d6fe49 执行方式修改
2019-08-29 10:38:11 +08:00
common fix：1.修复作业日志输出父级目录没创建时，作业启动报错问题 2019-07-08 10:27:17 +08:00
datax-web 执行方式修改 2019-08-29 10:38:11 +08:00
datax源码阅读笔记 change: 2019-05-05 16:21:14 +08:00
.gitignore change: 2019-05-05 16:41:50 +08:00
package.xml change: 2019-05-05 16:41:50 +08:00
pom.xml 执行方式修改 2019-08-29 10:36:43 +08:00
README.md fix：1.修复作业日志输出父级目录没创建时，作业启动报错问题 2019-07-08 10:27:17 +08:00

README.md

Java springboot

preparation

  • Language: Java 8
  • Environment: MacOS, 16G RAM
  • Database: Mysql5.7

introduction

  • 使用springboot启动datax，不再需要用python启动。
  • 以restful接口启动datax作业

todo list

  • springboot重构项目
  • 通过restful接口调度datax完成抽取数据作业
  • 通过restful接口传入job配置json生成临时文件，根据文件配置调度datax执行该作业
  • 集成swagger，方便调试
  • 集成mybatis plus和Mysql数据库存放应用数据
  • 网页端修改并持久化job配置的json到数据库
  • 网页端实时查看抽取日志，类似Jenkins的日志控制台输出功能
  • 网页端各种读写插件模板生成，可以在页面组装使用
  • 精简assembly打包结构
  • 实现datax分布式作业
  • 实现部分写插件支持自动建表功能

前端项目

github地址

how to run

1. 在父工程目录下使用maven打包

 mvn -U clean package assembly:assembly -Dmaven.test.skip=true

2. 在打包完成的target目录下进入datax-web，可以看到datax-web-0.0.1-SNAPSHOT

cd  datax/datax/plugin/web

3. 运行启动命令

 java  -Ddatax.home=/Users/huzekang/openSource/DataX/target/datax/datax  -jar datax-web-0.0.1-SNAPSHOT.jar

需要配上环境变量-Ddatax.home，此处参照上述配置mvn打包后的目录即可

4. 终端访问测试作业接口

curl http://localhost:8080/startJob

可以看到成功跑完一个datax作业

5. 打开网页端启动作业

http://localhost:8080/index.html#/datax/job

6. 在线查看作业日志