CodeCow/datax-web
1
0
Fork 0
mirror of https://github.com/WeiYe-Jing/datax-web.git synced 2026-07-03 21:08:58 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。
48 Commits 6 Branches 6 Tags 292 MiB
JavaScript 56%
Java 42%
Shell 1.7%
HTML 0.3%
15d43a1bbf
Go to file
huzekang 15d43a1bbf change: 
1. update MongoDB writer client init configuration
2. update readme.md ，add todo list
2019-05-05 20:32:47 +08:00
adswriter update adswriter.md 2018-12-26 10:18:48 +08:00
common v0.0 2018-01-31 16:24:49 +08:00
core change: 2019-05-05 16:21:14 +08:00
datax-web change: 2019-05-05 16:41:50 +08:00
datax源码阅读笔记 change: 2019-05-05 16:21:14 +08:00
drdsreader v0.0 2018-01-31 16:24:49 +08:00
drdswriter v0.0 2018-01-31 16:24:49 +08:00
elasticsearchwriter v0.0 2018-01-31 16:24:49 +08:00
ftpreader v0.0 2018-01-31 16:24:49 +08:00
ftpwriter v0.0 2018-01-31 16:24:49 +08:00
hbase11xreader 修改hbaseConfig相关描述 2018-03-26 15:23:25 +08:00
hbase11xsqlreader add hbase11xsqlreader 2018-11-07 20:18:07 +08:00
hbase11xsqlwriter v0.0 2018-01-31 16:24:49 +08:00
hbase11xwriter 修改hbaseConfig相关描述 2018-03-26 15:23:25 +08:00
hbase20xsqlreader 支持Phoenix5.x版本读写插件 2019-03-11 11:19:41 +08:00
hbase20xsqlwriter 支持Phoenix5.x版本读写插件 2019-03-11 11:19:41 +08:00
hbase094xreader v0.0 2018-01-31 16:24:49 +08:00
hbase094xwriter v0.0 2018-01-31 16:24:49 +08:00
hdfsreader change the logic of getting orc column count in DFSUtil.java 2018-05-23 11:27:44 +08:00
hdfswriter v0.0 2018-01-31 16:24:49 +08:00
mongodbreader v0.0 2018-01-31 16:24:49 +08:00
mongodbwriter change: 2019-05-05 20:32:47 +08:00
mysqlreader v0.0 2018-01-31 16:24:49 +08:00
mysqlwriter v0.0 2018-01-31 16:24:49 +08:00
ocswriter v0.0 2018-01-31 16:24:49 +08:00
odpsreader v0.0 2018-01-31 16:24:49 +08:00
odpswriter v0.0 2018-01-31 16:24:49 +08:00
opentsdbreader change: 2019-05-05 16:41:50 +08:00
oraclereader v0.0 2018-01-31 16:24:49 +08:00
oraclewriter v0.0 2018-01-31 16:24:49 +08:00
ossreader v0.0 2018-01-31 16:24:49 +08:00
osswriter v0.0 2018-01-31 16:24:49 +08:00
otsreader v0.0 2018-01-31 16:24:49 +08:00
otsstreamreader v0.0 2018-01-31 16:24:49 +08:00
otswriter v0.0 2018-01-31 16:24:49 +08:00
plugin-rdbms-util v0.0 2018-01-31 16:24:49 +08:00
plugin-unstructured-storage-util v0.0 2018-01-31 16:24:49 +08:00
postgresqlreader v0.0 2018-01-31 16:24:49 +08:00
postgresqlwriter v0.0 2018-01-31 16:24:49 +08:00
rdbmsreader v0.0 2018-01-31 16:24:49 +08:00
rdbmswriter v0.0 2018-01-31 16:24:49 +08:00
rpm v0.0 2018-01-31 16:24:49 +08:00
sqlserverreader v0.0 2018-01-31 16:24:49 +08:00
sqlserverwriter v0.0 2018-01-31 16:24:49 +08:00
streamreader v0.0 2018-01-31 16:24:49 +08:00
streamwriter v0.0 2018-01-31 16:24:49 +08:00
transformer v0.0 2018-01-31 16:24:49 +08:00
tsdbwriter change: 2019-05-05 16:41:50 +08:00
txtfilereader v0.0 2018-01-31 16:24:49 +08:00
txtfilewriter v0.0 2018-01-31 16:24:49 +08:00
.gitignore change: 2019-05-05 16:41:50 +08:00
package.xml change: 2019-05-05 16:41:50 +08:00
pom.xml change: 2019-05-05 16:41:50 +08:00
README.md change: 2019-05-05 20:32:47 +08:00

README.md

preparation

jdk1.8

introduction

  • 使用springboot启动datax，不再需要用python启动。
  • 以restful接口启动datax作业

TODO LIST

  • springboot重构项目
  • 通过restful接口调度datax完成抽取数据作业
  • 通过restful接口传入job配置json生成临时文件，根据文件配置调度datax执行该作业
  • 实现datax分布式作业
  • 网页端修改job配置的json
  • 网页端实时查看抽取日志
  • 网页端各种插件模板生成
  • job配置持久化到db
  • 精简assembly打包结构

how to run

1. 在父工程目录下使用maven打包

 mvn -U clean package assembly:assembly -Dmaven.test.skip=true

2. 在打包完成的target目录下进入datax-web，可以看到datax-web-0.0.1-SNAPSHOT

cd  datax/datax/plugin/web

3. 运行启动命令

 java  -Ddatax.home=/Users/huzekang/openSource/DataX/target/datax/datax  -jar datax-web-0.0.1-SNAPSHOT.jar

需要配上环境变量-Ddatax.home，此处参照上述配置mvn打包后的目录即可

4. 访问测试作业接口

curl http://localhost:8080/startJob

可以看到成功跑完一个datax作业