您的位置：首页 > 编程技术 > php  >  PHP解析html类库simple_html_dom的转码bug

PHP解析html类库simple_html_dom的转码bug

 更新时间：2014年5月31日 01:00  点击：2222

这几天有在用simple_html_dom抓一些文章。不同网站的编码在国内基本上是gbk gb2312 utf-8。而以gb2312和utf-8居多。

我这一版的simple_html_dom有一个方法 convert_text 是这个样子的。

复制代码 代码如下:

 // PaperG - Function to convert the text from one character set to another if the two sets are not the same.
 function convert_text($text)
 {
  global $debug_object;
  if (is_object($debug_object)) {$debug_object->debug_log_entry(1);}
  $converted_text = $text;
  $sourceCharset = "";
  $targetCharset = "";
  if ($this->dom)
  {
   $sourceCharset = strtoupper($this->dom->_charset);
   $targetCharset = strtoupper($this->dom->_target_charset);
  }
  if (is_object($debug_object)) {$debug_object->debug_log(3, "source charset: " . $sourceCharset . " target charaset: " . $targetCharset);}
  if (!empty($sourceCharset) && !empty($targetCharset) && (strcasecmp($sourceCharset, $targetCharset) != 0))
  {
   // Check if the reported encoding could have been incorrect and the text is actually already UTF-8
   if ((strcasecmp($targetCharset, 'UTF-8') == 0) && ($this->is_utf8($text)))
   {
    $converted_text = $text;
   }
   else
   {
    $converted_text = iconv($sourceCharset, $targetCharset, $text);
   }
  }
  // Lets make sure that we don't have that silly BOM issue with any of the utf-8 text we output.
  if ($targetCharset == 'UTF-8')
  {
   if (substr($converted_text, 0, 3) == "/xef/xbb/xbf")
   {
    $converted_text = substr($converted_text, 3);
   }
   if (substr($converted_text, -3) == "/xef/xbb/xbf")
   {
    $converted_text = substr($converted_text, 0, -3);
   }
  }
  return $converted_text;
 }

来看这一行：

复制代码 代码如下:

    $converted_text = iconv($sourceCharset, $targetCharset, $text); 

会引起转码不正确。比如会把gb2312的文字转成：

复制代码 代码如下:

4月26日在<span style="color:#C03"></span>公园马术场举行的2014浪琴国际马联场地障碍世界杯中国联赛资格赛上，24岁的韩壮壮不仅拿到零罚分的成绩 ...第7个出场的<span style="color:#C03">含</span>奥运骑手赵志文第一个收获零罚分，用时77秒07 ...

既成的事实了，证明里头的转码功能没有处理好。由于我使用这个simple_html_dom只是想要用来构建dom。我并没有打算花时间去很好地处理这个bug。而是简单地把

复制代码 代码如下:

$converted_text = iconv($sourceCharset, $targetCharset, $text);

改成

复制代码 代码如下:

$converted_text = $text;

就行了。思路就是取消它的转码。好吧工作不必纠结，可以继续了。

[!--infotagslink--]

相关文章

  • 基于vue-simple-uploader封装文件分片上传、秒传及断点续传的全局上传插件功能

    这篇文章主要介绍了基于vue-simple-uploader封装文件分片上传、秒传及断点续传的全局上传插件,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-02-23

  • php常量详细解析

    一、常量常量是一个简单值的标识符（名字）。如同其名称所暗示的，在脚本执行期间该值不能改变（除了所谓的魔术常量，它们其实不是常量）。常量默认为大小写敏感。按照惯例常量标识符总是大写的。 常量名和其它任何 PHP 标签遵循...2015-10-30

  • JavaScript预解析,对象详解

    这篇文章主要介绍了JavaScript预解析,对象的的相关资料，小编觉得这篇文章写的还不错，需要的朋友可以参考下，希望能够给你带来帮助...2021-11-10

  • C# 如何解析获取Url参数值

    这篇文章主要介绍了C# 如何解析获取Url参数值,帮助大家更好的理解和使用c#，感兴趣的朋友可以了解下...2020-09-01

  • error LNK2019: 无法解析的外部符号 问题的解决办法

    error LNK2019: 无法解析的外部符号 问题的解决办法，需要的朋友可以参考一下...2020-04-25

  • JS跨浏览器解析XML应用过程详解

    这篇文章主要介绍了JS跨浏览器解析XML应用过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-10-16

  • JavaScript实现解析INI文件内容的方法

    这篇文章主要介绍了JavaScript实现解析INI文件内容的方法,结合实例形式分析了javascript通过自定义函数实现针对ini文件解析操作的相关处理技巧,需要的朋友可以参考下...2016-11-22

  • C#网络请求与JSON解析的示例代码

    这篇文章主要介绍了C#网络请求与JSON解析的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-06-25

  • 解决无法解析javax.servlet的方法

    最近在创建一个servlet时,自动生成的代码中出现servlet无法解析的提示,令我无法正常使用servlet里的方法,在对各个步骤进行查看后,发现了问题所在,需要的朋友可以参考下...2021-05-15

  • 硬核 Redis 高频面试题解析

    Redis 是一个高性能的key-value数据库。在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端使用很方便...2021-06-17

  • C#域名解析简单实现方法

    这篇文章主要介绍了C#域名解析简单实现方法,可实现针对域名解析显示出主机名、IP地址、别名等功能,需要的朋友可以参考下...2020-06-25

  • C#创建dll类库的图文步骤

    类库让我们的代码可复用，我们只需要在类库中声明变量一次，就能在接下来的过程中无数次地使用，而无需在每次使用前都要声明它。这样一来，就节省了我们的内存空间,需要的朋友可以参考下...2020-06-25

  • C#基础知识 全面解析可空类型

    C# 2.0 中还引入了可空类型，可空类型也是值类型，只是可空类型是包括null的值类型的，下面就介绍下C#2.0中对可空类型的支持具体有哪些内容...2020-06-25

  • Intellij IDEA解析jacoco结果文件的方法

    这篇文章主要介绍了Intellij IDEA解析jacoco结果文件的方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2020-09-25

  • JS中Eval解析JSON字符串的一个小问题

    JSON （JavaScript Object Notation）一种简单的数据格式，比xml更轻巧，下面通过本文给大家介绍JS中Eval解析JSON字符串的一个小问题，需要的朋友参考下吧...2016-02-23

  • python之pyinstaller组件打包命令和异常解析实战

    前段时间在制作小工具的时候,直接在命令行用pyinstaller工具打包成功后,启动exe可执行文件的时候各种报错, 今天,我们就分享一下踩坑经过,需要的朋友可以参考下...2021-09-20

  • 详解C#对XML、JSON等格式的解析

    这篇文章主要介绍了详解C#对XML、JSON等格式的解析，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。...2020-06-25

  • 动态webservice调用接口并读取解析返回结果

    webservice的 发布一般都是使用WSDL（web service descriptive language）文件的样式来发布的，在WSDL文件里面，包含这个webservice暴露在外面可供使用的接口。今天我们来详细讨论下如何动态调用以及读取解析返回结果...2020-06-25

  • C#实现的优酷真实视频地址解析功能（2014新算法）

    这篇文章主要介绍了C#实现的优酷真实视频地址解析功能（2014新算法）,本文在当前环境下是有效的,因为优酷之前更新了算法,需要的朋友可以参考下...2020-06-25

  • C#如何解析http报文

    这篇文章如果讲解了用C#如何解析http报文，要解析http报文，需要哪些操作呢？下面小编给大家整理相关资料，需要的朋友可以参考下...2020-06-25