CodeCow/datax-web
1
0
Fork 0
mirror of https://github.com/WeiYe-Jing/datax-web.git synced 2026-07-03 21:08:58 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。
133 Commits 6 Branches 6 Tags 292 MiB
JavaScript 56%
Java 42%
Shell 1.7%
HTML 0.3%
7c1389cb6d
Go to file
景文凯 7c1389cb6d 日志输出优化，获取datax执行进程Id
2019-11-08 18:06:15 +08:00
datax-common 日志输出优化，获取datax执行进程Id 2019-11-08 18:06:15 +08:00
datax-web 日志输出优化，获取datax执行进程Id 2019-11-08 18:06:15 +08:00
datax源码阅读笔记 change: 2019-05-05 16:21:14 +08:00
.gitignore 执行方式修改 2019-08-29 10:49:19 +08:00
package.xml change: 2019-05-05 16:41:50 +08:00
pom.xml 日志输出优化，获取datax执行进程Id 2019-11-08 18:06:15 +08:00
README.md datax运行日志 2019-11-07 16:50:26 +08:00

README.md

Java springboot

preparation

  • Language: Java 8
  • Environment: MacOS, 16G RAM
  • Database: Mysql5.7
  • 建议Python2.7

todo list

  • springboot重构项目
  • 集成swagger，方便调试
  • 集成mybatis plus和Mysql数据库存放应用数据
  • 网页端修改并持久化job配置的json到数据库
  • 网页端实时查看抽取日志，类似Jenkins的日志控制台输出功能
  • 实时查看抽取日志BUG功能修复2019-11-07
  • 网页端各种读写插件模板生成，可以在页面组装使用
  • 实现datax分布式作业
  • 实现部分写插件支持自动建表功能

前端项目

github地址

how to run

1. 下载datax打包之后的文件或者github拉取datax代码打包，配置环境变量

 DATAX_HOME=G:\learndemo\springboot-datax\datax\bin

2. 执行datax-web/db下面的sql文件并修改application.yml数据库配置信息

3. application.yml配置数据抽取日志文件保存路径

etlLogDir: D:\temp\logs\datax-web\

4. 终端访问测试作业接口

curl http://localhost:8080/startJob

可以看到成功跑完一个datax作业

5. 打开网页端启动作业

http://localhost:8080/index.html#/datax/job

6. 在线查看作业日志