java 实现增量同步和自定义同步的操作
场景
公司有多个系统。 需要从某个系统拿数据。初始化拿一次,然后每天增量同步。
因为逻辑关系有些复杂,且涉及到多表,所以纯sql不太方便。
项目之前的mybatis写死了, sysdate-1的数据。
如何全量同步
老办法
可以让某系统调整modifyDate,本系统通过定时任务同步这些数据。
缺点: 按规定不允许改数据,别人也不乐意改。
较好的办法
调整mybatis,传入参数变为自定义方法,这样就可以同步任意时刻的数据。
一般有2种方法:
传入游标方法: sysdate-n
直接传入日期字符串: modifyDate between ‘888' and ‘999'
然后增加request请求,手动调用同步方法。
补充:java数据同步,增量更新表中记录数据
背景:
我方系统中的数据从第三方系统同步过来。双方通过json格式交互,数据格式如下:
{ "resInfo":{"code":"0","msg":"查询成功"}, "columns":"requestId,jobNumber,requestDate,department,businessDays,cfd,mdd,startTime,endTime,reason,remark", "data":[ {"requestId"="11925", "jobNumber"="5721", "requestDate"="2019-05-06", "department"="57", "businessDays"="21", "cfd"="上海", "mdd"="南京", "startTime"="2019-05-06 13:36", "endTime"="2019-05-07 13:36", "reason"="", "remark"=""} ] }
增量更新处理思路:
1、调用第三方接口,获取数据,做解析,得到一个List1。
2、查询数据库出差表,得到另一个List2。
3、两个list做比较,获取不同的元素列表。
list2-list1:要删除的记录。
list1-list2 :要新增的记录。
主要实现代码:
String result="调用接口返回的json串"; //参见交互的json数据格式
ResultObject<BusinessTrip> resultObject = JSON.parseObject(result, new TypeReference<ResultObject<BusinessTrip>>() { }); List<BusinessTrip> list = resultObject.getData(); if (!CollectionUtils.isEmpty(list)) { //查询数据库记录条数 List<BusinessTrip> list2 = businessService.queryBusinessTripList(); Map<String, List<BusinessTrip>> map = ListUtils.getMap(list, list2); //删除出差 List<BusinessTrip> newRemoveList = map.get(ListUtils.LIST2_REMOVE_LIST1); if (!CollectionUtils.isEmpty(newRemoveList)) { List<String> newChangeList2 = newRemoveList.stream().map(item -> item.getRequestId()).collect(Collectors.toList()); int removeCount = businessService.batchDeleteBusinessTrip(newChangeList2); log.error("删除出差记录个数,removeCount=" + removeCount); } //新增出差 List<BusinessTrip> newAddList = map.get(ListUtils.LIST1_REMOVE_LIST2); if (!CollectionUtils.isEmpty(newAddList)) { int addCount = businessService.batchInsertBusinessTrip(newAddList); log.error("新增出差记录个数,addCount=" + addCount); } } else { log.error("同步出差申请结束,没有查询到出差数据。"); }
出差实体类BusinessTrip.java
import lombok.Data; /** * 出差 */ @Data public class BusinessTrip { /** * 请求ID */ private String requestId; /** * 工号 */ private String jobNumber; /** * 申请日期 */ private String requestDate; /** * 申请人所在部门id */ private String department; /** * 出差天数 */ private String businessDays; /** * 出发地 */ private String cfd; /** * 目的地 */ private String mdd; /** * 出差开始时间 */ private String startTime; /** * 出差结束时间 */ private String endTime; /** * 出差事由 */ private String reason; /** * 备注 */ private String remark; }
ResultObject.java
/** * @Name: ResultObject * @Desc: 基类泛型 * @Author: Administrator * @Date: 2019-08-28 18:32 * { "resInfo":{"code":"0","msg":"查询成功"}, "columns":"requestId,jobNumber,requestDate,department,businessDays,cfd,mdd,startTime,endTime,reason,remark", "data":[ {"requestId"="11925", "jobNumber"="5721", "requestDate"="2019-05-06", "department"="57", "businessDays"="21", "cfd"="上海", "mdd"="南京", "startTime"="2019-05-06 13:36", "endTime"="2019-05-07 13:36", "reason"="", "remark"=""} ] } */ @Data public class ResultObject<T> { private String columns; private ResInfo resInfo; private List<T> data; }
ResInfo.java
import lombok.Data; /** * @Name: ResInfo * @Desc * @Author: Administrator * @Date: 2019-08-28 18:38 * {"code":"0","msg":"查询成功"} */ @Data public class ResInfo { private String code; private String msg; }
ListUtils.java工具类:
import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.stream.Collectors; /** * @Name: ListUtils * @Desc * @Author: Administrator * @Date: 2019-08-29 14:03 */ public class ListUtils { /** * 交集 */ public static final String LIST1_AND_LIST2 = "0"; /** * 差集(list1 - list2) */ public static final String LIST1_REMOVE_LIST2 = "1"; /** * 差集(list2 - list1) */ public static final String LIST2_REMOVE_LIST1 = "2"; public static <T> Map<String, List<T>> getMap(List<T> list1, List<T> list2) { //交集 List<T> intersection = list1.stream().filter(item -> list2.contains(item)).collect(Collectors.toList()); //差集(list1 - list2) List<T> reduce1 = list1.stream().filter(item -> !list2.contains(item)).collect(Collectors.toList()); //差集(list2 - list1) List<T> reduce2 = list2.stream().filter(item -> !list1.contains(item)).collect(Collectors.toList()); Map<String, List<T>> map = new HashMap<>(); map.put(LIST1_AND_LIST2, intersection); map.put(LIST1_REMOVE_LIST2, reduce1); map.put(LIST2_REMOVE_LIST1, reduce2); return map; } // public static void main(String[] args) { // List<String> list1 = new ArrayList<>(); // list1.add("1111"); // list1.add("2222"); // list1.add("3333"); // list1.add("4444"); // // List<String> list2 = new ArrayList<>(); // list2.add("3333"); // list2.add("4444"); // list2.add("5555"); // list2.add("6666"); // // Map<String, List<String>> map = getMap(list1, list2); // System.out.println(map); // } }
实际处理过程中出现的一个问题是:
接口返回的字段中,不是每个字段都有值。在第一次插入数据后,再查询时,字段得到的值是null,不是空串。
操作中出现一个问题:
接口中拿到的数据是这样:
BusinessTrip(requestId=11925, jobNumber=5721, requestDate=2019-05-06, department=57, businessDays=21, cfd=上海, mdd=南京, startTime=2019-05-06 13:36, endTime=2019-05-07 13:36, reason=, remark=)
就是通过mybatis查询出的数据,得到记录格式是这样。
BusinessTrip(requestId=11925, jobNumber=5721, requestDate=2019-05-06, department=57, businessDays=21, cfd=上海, mdd=南京, startTime=2019-05-06 13:36, endTime=2019-05-07 13:36, reason=null, remark=null)
两个格式差别是,部分字段,比如reason字段,一个是空串,一个是null,导致List中元素在做比较的时候,总是不相等。
以上为个人经验,希望能给大家一个参考,也希望大家多多支持猪先飞。如有错误或未考虑完全的地方,望不吝赐教。
相关文章
- 这篇文章主要介绍了如何利用java语言实现经典《复杂迷宫》游戏,文中采用了swing技术进行了界面化处理,感兴趣的小伙伴可以动手试一试...2022-02-01
java 运行报错has been compiled by a more recent version of the Java Runtime
java 运行报错has been compiled by a more recent version of the Java Runtime (class file version 54.0)...2021-04-01- 这篇文章主要介绍了在java中获取List集合中最大的日期时间操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-08-15
- 这篇文章主要介绍了教你怎么用Java获取国家法定节假日,文中有非常详细的代码示例,对正在学习java的小伙伴们有非常好的帮助,需要的朋友可以参考下...2021-04-23
- 这篇文章主要介绍了Java如何发起http请求的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-31
- 这篇文章主要给大家介绍了关于C#创建自定义控件及添加自定义属性和事件使用的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用C#具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧...2020-06-25
- 说起C#和Java这两门语言(语法,数据类型 等),个人以为,大概有90%以上的相似,甚至可以认为几乎一样。但是在工作中,我也发现了一些细微的差别...2020-06-25
- 本文实例讲述了JS实现自定义简单网页软键盘效果。分享给大家供大家参考,具体如下:这是一款自定义的简单点的网页软键盘,没有使用任何控件,仅是为了练习JavaScript编写水平,安全性方面没有过多考虑,有顾虑的可以不用,目的是学...2015-11-08
- 这篇文章主要介绍了解决Java处理HTTP请求超时的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-29
- 为了增强android应用的用户体验,我们可以在一些Button按钮上自定义动态的设置一些样式,比如交互时改变字体、颜色、背景图等。 今天来看一个通过重写Button来动态实...2016-09-20
- 这篇文章主要介绍了java 判断两个时间段是否重叠的案例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-08-15
java 画pdf用itext调整表格宽度、自定义各个列宽的方法
这篇文章主要介绍了java 画pdf用itext调整表格宽度、自定义各个列宽的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-31- 这篇文章主要介绍了超简洁java实现双色球若干注随机号码生成(实例代码),本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-04-02
- 这篇文章主要介绍了Java生成随机姓名、性别和年龄的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-10-01
- 下面我们来看一篇关于Android自定义WebView网络视频播放控件开发例子,这个文章写得非常的不错下面给各位共享一下吧。 因为业务需要,以下代码均以Youtube网站在线视...2016-10-02
- 自定义一个jquery模态窗口插件,将它集成到现有平台框架中时,它只能在mainFrame窗口中显示,无法在顶层窗口显示. 解决这个问题的办法: 通过以下代码就可能实现在顶层窗口弹窗 复制代码 代码如下: $(window.top.documen...2014-05-31
- 这篇文章主要介绍了自定义feignClient的常见坑及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...2021-10-20
- 这篇文章主要介绍了java正则表达式判断前端参数修改表中另一个字段的值,需要的朋友可以参考下...2021-05-07
Java使用ScriptEngine动态执行代码(附Java几种动态执行代码比较)
这篇文章主要介绍了Java使用ScriptEngine动态执行代码,并且分享Java几种动态执行代码比较,需要的朋友可以参考下...2021-04-15- 这篇文章主要介绍了Java开发实现人机猜拳游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-08-03