CodeCow/datax-web
1
0
Fork 0
mirror of https://github.com/WeiYe-Jing/datax-web.git synced 2026-07-03 21:08:58 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。
126 Commits 6 Branches 6 Tags 292 MiB
JavaScript 56%
Java 42%
Shell 1.7%
HTML 0.3%
3ea3387bb7
Go to file
景文凯 3ea3387bb7 执行方式修改
2019-08-29 11:40:52 +08:00
common fix：1.修复作业日志输出父级目录没创建时，作业启动报错问题 2019-07-08 10:27:17 +08:00
datax-web 执行方式修改 2019-08-29 10:38:11 +08:00
datax源码阅读笔记 change: 2019-05-05 16:21:14 +08:00
.gitignore 执行方式修改 2019-08-29 10:49:19 +08:00
package.xml change: 2019-05-05 16:41:50 +08:00
pom.xml 执行方式修改 2019-08-29 10:36:43 +08:00
README.md 执行方式修改 2019-08-29 11:40:52 +08:00

README.md

Java springboot

preparation

  • Language: Java 8
  • Environment: MacOS, 16G RAM
  • Database: Mysql5.7

introduction

  • 使用springboot启动datax，不再需要用python启动。
  • 以restful接口启动datax作业

todo list

  • springboot重构项目
  • 通过restful接口调度datax完成抽取数据作业
  • 通过restful接口传入job配置json生成临时文件，根据文件配置调度datax执行该作业
  • 集成swagger，方便调试
  • 集成mybatis plus和Mysql数据库存放应用数据
  • 网页端修改并持久化job配置的json到数据库
  • 网页端实时查看抽取日志，类似Jenkins的日志控制台输出功能
  • 网页端各种读写插件模板生成，可以在页面组装使用
  • 精简assembly打包结构
  • 实现datax分布式作业
  • 实现部分写插件支持自动建表功能

前端项目

github地址

how to run

1. 下载datax打包之后的文件或者github拉取datax代码打包，配置环境变量

 DATAX_HOME=G:\learndemo\springboot-datax\datax\bin

2. 执行datax-web/db下面的sql文件并修改application.yml数据库配置信息

3. application.yml配置数据抽取日志文件保存路径

etlLogDir: D:\temp\logs\datax-web\

4. 终端访问测试作业接口

curl http://localhost:8080/startJob

可以看到成功跑完一个datax作业

5. 打开网页端启动作业

http://localhost:8080/index.html#/datax/job

6. 在线查看作业日志