php导入大量数据到mysql性能优化
之前有几篇文章,说了最近tiandi在帮朋友做一个小项目,用于统计电话号码的,每次按需求从数据库里随机生成打包的电话号码,然后不停地让人打这些电话号码推销产品(小小鄙视一下这样的行为)。但是朋友要求帮忙,咱也不能不帮啊,是吧。程序两个星期前已经做好,测试完毕交工。前几天朋友来电说,每天导入电话号码的时间越来越长,有时候一万条记录就要半个小时以上,看看能不能想办法提高一下这个速度。
我理了一下思路,数据库结构很简单,可以认为就两个字段,一个字段存电话号码,另一字段存类别,类别分别为c,d,e等等,分别代表已经拨通过此电话,未拨通过此电话,未拨打过此电话等等状态,而整个程序逻辑是这样的:
■拿到一个txt文件,里面存的是电话号码
■通过程序将txt文件导入到mysql里
■导入的时候,检测txt里的电话号码是否和mysql里的重复,如果不重复,直接插入新记录,如果重复,就需要按照判断电话号码所属类别来进行更新。
由于每个txt里的电话号码导入时,都需要做一次比较,所以程序肯定会耗时一些,这里我们先撇开这个原因,因为本文章的标题是优化写入速度,那么程序什么时候会写入记录呢?通过上面的逻辑得知,在匹配数据库时,没有发现存在记录时会发生写入数据库操作(当然update也算,只是这里只讨论insert)。那么将上述逻辑转化为代码,差不多如下:
代码如下 | 复制代码 |
//$array为txt文件explode出来的数组,每一个为一个电话号码, $str为类型 |
以上代码完全正确,但是效率低下,当txt文件里包含了上万个电话号码时,即会有上万次的插入数据库操作,虽然每次的数据库写入操作都是很快的,但是上万条累计下来,这个执行时间不容忽视。tiandi简单的测试了一下插入15000万条记录,耗时差不多5分钟。如果再加上之前的逻辑判断等等过程,那么半个小时还真得不算少了。这样可不行,必须减少数据库库写入次数才对,于是上面代码变更为以下:
代码如下 | 复制代码 |
$sql2="INSERT INTO ".$usertable." (tel,type,updatetime) VALUES"; |
这样,整个写入操作只有1次,大大地缩短了执行时间,差不多10秒就搞定了15000条记录。好了,本文到此结束,如果你也遇上写入大量数据到mysql耗时长的问题时,不如试试本文的优化方式。
最近需要把一个以前的asp网站转换成php的,但php是与mysql而我的asp与mssql的,结果就需要把mssql数据导入到mysql数据库了,下面我自己写了一个实例还抄了一个实例都不错。实例一
代码如下 | 复制代码 |
<?php $conn = mssql_connect($hostname,$dbuser,$dbpasswd); //连接MSSQL { ?> |
参考代码二、
代码如下 | 复制代码 |
<?php $mssql_link = mssql_connect($db_host,$db_msuser,$db_mspass) or mssql_select_db($db_msname,$mssql_link); $mysql_link = mysql_connect($db_myhost,$db_myuser,$db_mypass) or die("mysql数据库连接失败".mysql_error()); mysql_select_db($db_myname,$mysql_link); $msquery = mssql_query("select top 1 * from buyok_produc",$mssql_link); $vars = ”; while ($row = mssql_fetch_array($msquery,$mssql_link)){ $sql = echo $sql; $aa=mysql_query($sql, $mysql_link); if ($aa){ ?> |
curl实现get提交数据
代码如下 | 复制代码 |
// 初始化一个 cURL 对象 $curl = curl_init(); // 设置你需要抓取的URL curl_setopt($curl, CURLOPT_URL, 'http://www.111cn.net'); // 设置header, 最后一个参数是0表示返回值不带有header,1表示带有header curl_setopt($curl, CURLOPT_HEADER, 0); // 设置浏览器的特定header,可选,如果目标网站有要求的话 curl_setopt($ch, CURLOPT_HTTPHEADER, array( "User-Agent: {'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6 (.NET CLR 3.5.30729)'}", "Accept-Language: {en-us,en;q=0.5}" )); //或者只设置user-agent,可选,如果目标网站有要求的话 curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.1) Gecko/20061204 Firefox/2.0.0.1"); // 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上,1表示保存到字符串 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 页面内容不需要时,设置为1. 默认为0 curl_setopt($ch, CURLOPT_NOBODY, 1); // 运行cURL,请求网页,保存在$data $data = curl_exec($curl); // 关闭URL请求 curl_close($curl); //检查错误 //比较的时候我们用的是“=== FALSE”,而非“== FALSE”,因为我们得区分’空输出‘和’布尔值FALSE‘ if ($output === FALSE) { echo "cURL Error: " . curl_error($ch); } //可以获取信息 $info = curl_getinfo($ch); echo '获取'. $info['url'] . '耗时'. $info['total_time'] . '秒'; /* ...返回的数组中包括了以下信息: “url” //资源网络地址 “content_type” //内容编码 “http_code” //HTTP状态码 “header_size” //header的大小 “request_size” //请求的大小 “filetime” //文件创建时间 “ssl_verify_result” //SSL验证结果 “redirect_count” //跳转技术 “total_time” //总耗时 “namelookup_time” //DNS查询耗时 “connect_time” //等待连接耗时 “PRetransfer_time” //传输前准备耗时 “size_upload” //上传数据的大小 “size_download” //下载数据的大小 “speed_download” //下载速度 “speed_upload” //上传速度 “download_content_length”//下载内容的长度 “upload_content_length” //上传内容的长度 “starttransfer_time” //开始传输的时间 “redirect_time”//重定向耗时 */ |
curl实现POST提交数据
http的post实现
代码如下 | 复制代码 |
//extract data from the post |
MYSQL中只有INNODB和BDB类型的数据表才能支持事务处理!其他的类型是不支持的!
代码如下 | 复制代码 |
public function insertUser ($userArray){ foreach ($userArray as $key => $value) { @$field .= "$key,"; @$content .= "'$value',"; } $field = ereg_replace(',$', '', $field); $content = ereg_replace(',$', '', $content); $db = db_connect(); //连接数据库 $db->autocommit(FALSE); //设置为非自动提交——事务处理 $sql1 = "INSERT INTO t_user (".$field.") VALUES (".$content.")"; $result1 = $db->query($sql1); $sql2 = "INSERT INTO t_userpost (f_username) VALUES ('".$userArray['f_username']."')"; $result2 = $db->query($sql2); if ($result1 && $result2) { $db->commit(); //全部成功,提交执行结果 echo '提交'; } else { $db->rollback(); //有任何错误发生,回滚并取消执行结果 echo '回滚'; } $db->close(); } |
#将所有备份文件备份到指定的目录,如/backup/mysql_data_backup
代码如下 | 复制代码 |
mkdir /backup/mysql_data_backup -p |
添加一行任务
代码如下 | 复制代码 |
0 13 * * * /usr/bin/php /backup/mysql_data_backup/backmysql.php |
表示在每天晚上0点13分用php执行备份命令
代码如下 | 复制代码 |
#!/usr/bin/php < ?php //产生保存目录 $path = dirname(__FILE__) . '/' .date("Ym"); $filename = sprintf("%s/%s.sql.gz", $path, date("YmdHis")); if(!is_dir($path)) mkdir($path); //导出并压缩所有数据库 $cmd = sprintf("/usr/bin/mysqldump -uroot -ppassword --all-databases | /bin/gzip > %s", $filename); echo "backuping...n"; `$cmd`; echo "backup done.n"; |
注意,这里只是计划信息处理了,如果要执行php文件我们需要自己写一个即可。
相关文章
- java开发的Android应用,性能一直是一个大问题,,或许是Java语言本身比较消耗内存。本文我们来谈谈Android 性能优化之MemoryFile文件读写。 Android匿名共享内存对外A...2016-09-20
- 这篇文章主要介绍了Angular性能优化之第三方组件和懒加载技术,对性能优化感兴趣的同学,可以参考下...2021-05-11
详解在IDEA中将Echarts引入web两种方式(使用js文件和maven的依赖导入)
这篇文章主要介绍了在IDEA中将Echarts引入web两种方式(使用js文件和maven的依赖导入),本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2020-07-11利用 Chrome Dev Tools 进行页面性能分析的步骤说明(前端性能优化)
这篇文章主要介绍了利用 Chrome Dev Tools 进行页面性能分析的步骤说明(前端性能优化),本文给大家介绍的非常想详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-02-24- 这篇文章主要给大家总结介绍了R语言导入导出数据的几种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-05-06
- 这篇文章主要介绍了javascript性能优化之DOM交互操作技巧,结合实例形式总结分析了JavaScript针对DOM操作过程中的各种常见优化操作技巧,需要的朋友可以参考下...2015-12-14
phpexcel导入xlsx文件报错xlsx is not recognised as an OLE file 怎么办
phpexcel是一款php读写excel的插件了,小编有一个这样的功能要来实现,但是在导入xlsx时发现xlsx is not recognised as an OLE file 了,但是导入xls是没有问题了,碰到这种...2016-11-25- 今天小编就为大家分享一篇关于C#数据导入到EXCEL的方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧...2020-06-25
- 让C# Excel导入导出,支持不同版本的Office,感兴趣的小伙伴们可以参考一下...2020-06-25
- 一.Join语法概述join 用于多表中字段之间的联系,语法如下:复制代码 代码如下:... FROM table1 INNER|LEFT|RIGHT JOIN table2 ON conditionatable1:左表;table2:右表。JOIN 按照功能大致分为如下三类:INNER JOIN(内连接,或...2014-05-31
- 这篇文章主要介绍了Go 自定义package包设置与导入操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-06
- 自己的一个网站,由于单表的数据记录高达了一百万条,造成数据访问很慢,Google分析的后台经常报告超时,尤其是页码大的页面更是慢的不行...2016-09-18
- 这篇文章主要为大家详细介绍了C# Winform实现导入和导出Excel文件,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-06-25
- 下面我来给大家介绍在php中操作excel两个实例,一个是利用PHP-ExcelReader导入excel并输出,另一种是直接输入excel并导出,下面看实例。 借助PHP-ExcelReader这个开...2016-11-25
php利用ExcelFileParser把excel导入数据库
这是一款实用的php教程利用excelfileparser把excel导入数据库教程哦。 代码如下 复制代码 <!doctype html public "-//w3c//dtd xhtml 1.0 transi...2016-11-25基于BootStrap Metronic开发框架经验小结【七】数据的导入、导出及附件的查看处理
在很多系统模块里面,我们可能都需要进行一定的数据交换处理,这样可以很好的达到用户操作体验感,接下来通过本文给大家介绍基于BootStrap Metronic开发框架经验小结【七】数据的导入、导出及附件的查看处理相关知识,非常具有参考价值,感兴趣的朋友一起学习吧...2016-05-14- 数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显。这篇文章主要介绍了MySQL数据库21条最佳性能优化经验的相关资料,需要的朋友可以参考下...2016-10-20
- 这篇文章主要介绍了解决hive中导入text文件遇到的坑,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-04-07
- 这篇文章主要介绍了Vue实现导入Excel功能,本文分步骤给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-07-03
php将第三方应用会员表导入到ucenter memberfields表
代码如下 复制代码 mysql教程_connect('localhost','0731-cn','0731licheng1') or die('sever '); mysql_select_db('0731-cn') or die('dat...2016-11-25