python实现不同数据库间数据同步功能
功能描述
数据库间数据同步方式很多,在上篇博文中有总结。本文是用py程序实现数据同步。
A数据库中有几十张表,要汇聚到B数据库中,且表结构一致,需要准实时的进行数据同步,用工具实现时对其控制有限且配置较繁琐,故自写程序,可自由设置同步区间,记录自己想要的日志
代码
本代码实现功能简单,采用面向过程,有需求的同学可以自己优化成面向对象方式,在日志这块缺少数据监控,可根据需求增加。主要注意点:
1、数据抽取时采用区间抽取(按时间区间)、流式游标迭代器+fetchone,避免内存消耗
2、在数据插入时采用executemany(list),加快插入效率
import pymysql import os import datetime,time def update_time(content): with open(filepathtime, 'w') as f: f.writelines(content) def recode_log(content): with open(filepathlog, 'a') as f: f.writelines(content) def transferdata(): #1、获取需要抽取的表,抽取数据的时间点 with open(filepathtime, 'r') as f: lines = f.readlines() # 读取所有数据 print("需要同步的表信息",lines) for line in lines: startdatetime = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())) tablename_list =line.split(',') #print(tablename_list) #print(tablename_list[-1]) tablename_list[-1] = tablename_list[-1].replace('\n','') #print(tablename_list) tablename = tablename_list[0] updatetime = tablename_list[1] #print(tablename,updatetime) #2、抽取此表此时间点的数据,同步 updatetime_s = datetime.datetime.strptime(updatetime, '%Y-%m-%d %H:%M:%S') updatetime_e = (updatetime_s + datetime.timedelta(hours=1)).strftime("%Y-%m-%d %H:%M:%S") #print(updatetime_s) #print(q_sql) db = pymysql.connect(host=host_o, port=port_o, user=user_o, passwd=passwd_o, db=db_o) cursor = db.cursor() q_sql = "select a,b,c from %s where c >= '%s' " % \ (tablename, updatetime_s) #2.1 首先判断下原表中是否有待同步数据,若有则同步且更新同步的时间参考点,若没有则不同步且不更新同步的时间参考点 try: cursor.execute(q_sql) results = cursor.fetchone() #print(results) #返回是元组 #print("查询原表数据成功!",tablename) except BaseException as e: print("查询原表数据失败!",tablename, str(e)) #记录异常日志 updatetime_n = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())) eachline_log = updatetime_n + '[erro]:' + tablename + str(e) + '\n' content_log.append(eachline_log) recode_log(content_log) db.close() if results: print("===============================================================================") print("有数据可同步",tablename) db = pymysql.connect(host=host_o, port=port_o, user=user_o, passwd=passwd_o, db=db_o, charset='utf8', cursorclass=pymysql.cursors.SSDictCursor) cursor = db.cursor() q_sql1 = "select a,b,c from %s where c >= '%s' and c < '%s' " % \ (tablename, updatetime_s, updatetime_e) #print(q_sql1) result_list = [] try: # startdatetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) cursor.execute(q_sql1) #results = cursor.fetchall() # enddatetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) # print(results) #返回是元组 #使用流式游标迭代器+fetchone,减少内存消耗 while True: result = cursor.fetchone() if not result: print("此区间无数据", q_sql1) break else: one_list = list(result.values()) # print(result_list) result_list.append(one_list) print(result_list) #返回是列表 #print("查询数据成功!", tablename) except BaseException as e: print("查询数据失败!", tablename, str(e)) # 记录异常日志 updatetime_n = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())) eachline_log = updatetime_n + '[erro]:' + tablename + str(e) + '\n' content_log.append(eachline_log) recode_log(content_log) db.close() results_len = (len(result_list)) if results_len>0: #3、将数据插入到目标表中,利用list提高插入效率 i_sql = "insert into table_t(a,b,c) values (%s,%s,%s)" #print(i_sql) db = pymysql.connect(host=host_d, port=port_d, user=user_d, passwd=passwd_d, db=db_d) cursor = db.cursor() try: #startdatetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) cursor.executemany(i_sql, result_list) db.commit() #enddatetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) print("插入成功!",tablename) except BaseException as e: db.rollback() print("插入失败!", tablename,str(e)) #记录异常日志 updatetime_n = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())) eachline_log = updatetime_n + '[erro]:' + tablename + str(e) + '\n' content_log.append(eachline_log) recode_log(content_log) db.close() enddatetime = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())) #4、如果有数据同步,则更新参考点时间为下一个节点时间 eachline_time = tablename+','+updatetime_e+'\n' #此时间点是下一个时间点updatetime_e content_time.append(eachline_time) print("更新表时间点",content_time) # 5、记录成功日志 eachline_log = enddatetime + '[success]:' + tablename + '开始时间' + startdatetime + \ '结束时间' + enddatetime + ',同步数据量'+str(results_len)+',当前参考点' + updatetime_e + '\n' content_log.append(eachline_log) print("日志信息",content_log) #print("===============================================================================") else: print("===============================================================================") print("无数据可同步",tablename) #db.close() enddatetime = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())) # 4、如果无数据同步,则参考点时间不更新 eachline_time = tablename + ',' + updatetime + '\n' #此时间点还是原时间updatetime content_time.append(eachline_time) print("不更新表时间点",content_time) # 5、成功日志信息 eachline_log = enddatetime + '[success]:' + tablename + '开始时间' + startdatetime + \ '结束时间' + enddatetime + ',同步数据量0'+ ',当前参考点' + updatetime_e + '\n' content_log.append(eachline_log) print("日志信息",content_log) #print("===============================================================================") #更新配置文件,记录日志 update_time(content_time) recode_log(content_log) if __name__ == '__main__': filepathtime = 'D:/test/table-time.txt' filepathlog = 'D:/test/table-log.txt' host_o = 'localhost' port_o = 3306 user_o = 'root' passwd_o = 'root@123' db_o = 'csdn' host_d = 'localhost' port_d = 3306 user_d = 'root' passwd_d = 'root@123' db_d = 'csdn' content_time = [] content_log = [] transferdata() #每5分钟执行一次同步 # while True: # transferdata() # time.sleep(300)
table-time.txt配置文件,格式说明:
每行包括源库表名、此表的最小时间time,以逗号分隔
若多个表,可配置多个时间
每次脚本执行后,同步更新时间time。时间间隔设置为1小时,可根据情况在updatetime_e中对增量进行修改
table-log.txt
记录每次同步任务执行的结果,或执行中发生异常的日志
此文件需要定期进行清理
到此这篇关于python实现不同数据库间数据同步功能的文章就介绍到这了,更多相关python实现数据同步内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 2022虎年新年即将来临,小编为大家带来了一个利用Python编写的虎年烟花特效,堪称全网最绚烂,文中的示例代码简洁易懂,感兴趣的同学可以动手试一试...2022-02-14
- 在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容,对此有兴趣的朋友们可以学习下。...2021-02-06
python-for x in range的用法(注意要点、细节)
这篇文章主要介绍了python-for x in range的用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-10- 这篇文章主要介绍了Python 图片转数组,二进制互转操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 这篇文章主要介绍了Python中的imread()函数用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python如何实现b站直播自动发送弹幕,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下...2021-02-20
python Matplotlib基础--如何添加文本和标注
这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注,帮助大家更好的利用Matplotlib绘制图表,感兴趣的朋友可以了解下...2021-01-26- 这篇文章主要介绍了解决python 使用openpyxl读写大文件的坑,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-13
- 今天小编就为大家分享一篇python 计算方位角实例(根据两点的坐标计算),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要为大家详细介绍了python实现双色球随机选号,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-05-02
- 在本篇文章里小编给大家整理的是一篇关于python中使用np.delete()的实例方法,对此有兴趣的朋友们可以学习参考下。...2021-02-01
- 这篇文章主要介绍了使用Python的pencolor函数实现渐变色功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-09
- 这篇文章主要介绍了python自动化办公操作PPT的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-05
Python getsizeof()和getsize()区分详解
这篇文章主要介绍了Python getsizeof()和getsize()区分详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-20- 这篇文章主要介绍了解决python 两个时间戳相减出现结果错误的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-12
- 这篇文章主要为大家详细介绍了python实现学生通讯录管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-02-25
- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-08
- 这篇文章主要介绍了Python绘制的爱心树与表白代码,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-04-06