CodeCow/datax-web
1
0
Fork 0
mirror of https://github.com/WeiYe-Jing/datax-web.git synced 2026-07-03 21:08:58 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。
109 Commits 6 Branches 6 Tags 292 MiB
JavaScript 56%
Java 42%
Shell 1.7%
HTML 0.3%
f2e8d7919e
Go to file
zhouhongfa f2e8d7919e add: 增加 oraclewriter postgresqlwriter sqlserverwriter 支持
2019-08-02 22:08:49 +08:00
adswriter update adswriter.md 2018-12-26 10:18:48 +08:00
common fix：1.修复作业日志输出父级目录没创建时，作业启动报错问题 2019-07-08 10:27:17 +08:00
core update: 在原来的datax Logger 下增加保存到日志文件中，后面会增加日志可视化页面； 2019-06-27 20:50:23 +08:00
datax-web add: 增加 oraclewriter postgresqlwriter sqlserverwriter 支持 2019-08-02 22:08:49 +08:00
datax源码阅读笔记 change: 2019-05-05 16:21:14 +08:00
drdsreader v0.0 2018-01-31 16:24:49 +08:00
drdswriter v0.0 2018-01-31 16:24:49 +08:00
elasticsearchwriter v0.0 2018-01-31 16:24:49 +08:00
ftpreader v0.0 2018-01-31 16:24:49 +08:00
ftpwriter v0.0 2018-01-31 16:24:49 +08:00
hbase11xreader 修改hbaseConfig相关描述 2018-03-26 15:23:25 +08:00
hbase11xsqlreader add hbase11xsqlreader 2018-11-07 20:18:07 +08:00
hbase11xsqlwriter v0.0 2018-01-31 16:24:49 +08:00
hbase11xwriter 修改hbaseConfig相关描述 2018-03-26 15:23:25 +08:00
hbase20xsqlreader 支持Phoenix5.x版本读写插件 2019-03-11 11:19:41 +08:00
hbase20xsqlwriter 支持Phoenix5.x版本读写插件 2019-03-11 11:19:41 +08:00
hbase094xreader v0.0 2018-01-31 16:24:49 +08:00
hbase094xwriter v0.0 2018-01-31 16:24:49 +08:00
hdfsreader change the logic of getting orc column count in DFSUtil.java 2018-05-23 11:27:44 +08:00
hdfswriter v0.0 2018-01-31 16:24:49 +08:00
mongodbreader v0.0 2018-01-31 16:24:49 +08:00
mongodbwriter change: 2019-05-05 20:32:47 +08:00
mysqlreader v0.0 2018-01-31 16:24:49 +08:00
mysqlwriter v0.0 2018-01-31 16:24:49 +08:00
ocswriter v0.0 2018-01-31 16:24:49 +08:00
odpsreader v0.0 2018-01-31 16:24:49 +08:00
odpswriter v0.0 2018-01-31 16:24:49 +08:00
opentsdbreader change: 2019-05-05 16:41:50 +08:00
oraclereader v0.0 2018-01-31 16:24:49 +08:00
oraclewriter v0.0 2018-01-31 16:24:49 +08:00
ossreader v0.0 2018-01-31 16:24:49 +08:00
osswriter v0.0 2018-01-31 16:24:49 +08:00
otsreader v0.0 2018-01-31 16:24:49 +08:00
otsstreamreader v0.0 2018-01-31 16:24:49 +08:00
otswriter v0.0 2018-01-31 16:24:49 +08:00
plugin-rdbms-util update: 在原来的datax Logger 下增加保存到日志文件中，后面会增加日志可视化页面； 2019-06-27 20:50:23 +08:00
plugin-unstructured-storage-util update: 在原来的datax Logger 下增加保存到日志文件中，后面会增加日志可视化页面； 2019-06-27 20:50:23 +08:00
postgresqlreader v0.0 2018-01-31 16:24:49 +08:00
postgresqlwriter v0.0 2018-01-31 16:24:49 +08:00
rdbmsreader v0.0 2018-01-31 16:24:49 +08:00
rdbmswriter v0.0 2018-01-31 16:24:49 +08:00
rpm v0.0 2018-01-31 16:24:49 +08:00
sqlserverreader v0.0 2018-01-31 16:24:49 +08:00
sqlserverwriter v0.0 2018-01-31 16:24:49 +08:00
streamreader v0.0 2018-01-31 16:24:49 +08:00
streamwriter v0.0 2018-01-31 16:24:49 +08:00
transformer v0.0 2018-01-31 16:24:49 +08:00
tsdbwriter change: 2019-05-05 16:41:50 +08:00
txtfilereader v0.0 2018-01-31 16:24:49 +08:00
txtfilewriter v0.0 2018-01-31 16:24:49 +08:00
.gitignore change: 2019-05-05 16:41:50 +08:00
package.xml change: 2019-05-05 16:41:50 +08:00
pom.xml change： 2019-05-11 16:16:23 +08:00
README.md fix：1.修复作业日志输出父级目录没创建时，作业启动报错问题 2019-07-08 10:27:17 +08:00

README.md

Java springboot

preparation

  • Language: Java 8
  • Environment: MacOS, 16G RAM
  • Database: Mysql5.7

introduction

  • 使用springboot启动datax，不再需要用python启动。
  • 以restful接口启动datax作业

todo list

  • springboot重构项目
  • 通过restful接口调度datax完成抽取数据作业
  • 通过restful接口传入job配置json生成临时文件，根据文件配置调度datax执行该作业
  • 集成swagger，方便调试
  • 集成mybatis plus和Mysql数据库存放应用数据
  • 网页端修改并持久化job配置的json到数据库
  • 网页端实时查看抽取日志，类似Jenkins的日志控制台输出功能
  • 网页端各种读写插件模板生成，可以在页面组装使用
  • 精简assembly打包结构
  • 实现datax分布式作业
  • 实现部分写插件支持自动建表功能

前端项目

github地址

how to run

1. 在父工程目录下使用maven打包

 mvn -U clean package assembly:assembly -Dmaven.test.skip=true

2. 在打包完成的target目录下进入datax-web，可以看到datax-web-0.0.1-SNAPSHOT

cd  datax/datax/plugin/web

3. 运行启动命令

 java  -Ddatax.home=/Users/huzekang/openSource/DataX/target/datax/datax  -jar datax-web-0.0.1-SNAPSHOT.jar

需要配上环境变量-Ddatax.home，此处参照上述配置mvn打包后的目录即可

4. 终端访问测试作业接口

curl http://localhost:8080/startJob

可以看到成功跑完一个datax作业

5. 打开网页端启动作业

http://localhost:8080/index.html#/datax/job

6. 在线查看作业日志