Kettle
wrkd35
GitHub:https://github.com/wrkd35
展开
-
Kettle之多表联合查询实战
需求说明原创 2020-08-27 14:10:15 · 4551 阅读 · 2 评论 -
Kettle之时间戳增量同步实战
0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步,采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间,可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳,在下一个同步周期时,通过这个时间戳同步该时间戳以后的增量数据。这是时间戳增量同步。但是时间戳增量同步不能对源数据库中历史数据的删除操作进行同步,我转载 2020-08-27 11:31:13 · 4823 阅读 · 13 评论 -
解决Kettle问题之中文乱码
问题出现的原因:从源数据库读取数据时乱码 给目标数据库写时乱码解决办法:以utf-8为例 修改源数据库连接,在高级里加上 set names utf8 修改目标数据库连接,在选项里加上characterEncoding utf8 用记事本编辑Spoon.bat文件 在以下 if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1...原创 2020-08-25 17:40:42 · 5255 阅读 · 0 评论 -
Kettle之简单入门实战
Kettle是一款国外开源的ETL工具,纯java编写,所以前期准备要配置java环境。1. 下载Kettle点击前往下载好了以后,无需安装,只要解压就好了,非常方便。2. 启动Kettle双击目录下的Spoon.bat即可。打开的界面:3. 简单实战:把源数据库的数据复制到目标数据库中,并且建立定时执行的作业。注意:在数据库链接的过程中,可能会报某个数据库连接找不到的异常。是因为没有对应的数据库链接驱动,所以先把对应驱动放入kettle的lib文件夹。...原创 2020-07-15 17:14:11 · 2046 阅读 · 0 评论