perl 中文处理技巧
更新时间：2020年6月29日 13:43 点击：1760
Perl从5.6开始已经开始在内部使用utf8编码来表示字符，也就是说对中文以及其他语言字符的处理应该是完全没有问题的。我们只需要利用好Encode这个模块便能充分发挥Perl的utf8字符的优势了。
下面就以中文文本的处理为例进行说明，比如有一个字符串"测试文本"，我们想要把这个中文字符串拆成单个字符，可以这样写：
use Encode;
$dat="测试文本";
$str=decode("gb2312",$dat);
@chars=split //,$str;
foreach $char (@chars) {
print encode("gb2312",$char),"\n";
}
结果大家试一试就知道了，应该是令人满意的。
这里主要用到了Encode模块的decode、encode函数。要了解这两个函数的作用我们需要清楚几个概念：
1、Perl字符串是使用utf8编码的，它由Unicode字符组成而不是单个字节，每个utf8编码的Unicode字符占1~4个字节（变长）。
2、进入或离开Perl处理环境（比如输出到屏幕、读入和保存文件等等）时不是直接使用Perl字符串，而需要把Perl字符串转换成字节流，转换过程中使用何种编码方式完全取决于你（或者由Perl代劳）。一旦Perl字符串向字节流的编码完成，字符的概念就不存在了，变成了纯粹的字节组合，如何解释这些组合则是你自己的工作。
我们可以看出如果想要Perl按照我们的字符概念来对待文本，文本数据就需要一直用Perl字符串的形式存放。但是我们平时写出的每个字符一般都被作为纯ASCII字符保存（包括在程序中明文写出的字符串），也就是字节流的形式，这里就需要encode和decode函数的帮助了。
encode函数顾名思义是用来编码Perl字符串的。它将Perl字符串中的字符用指定的编码格式编码，最终转化为字节流的形式，因此和Perl处理环境之外的事物打交道经常需要它。其格式很简单：
$octets = encode(ENCODING, $string [, CHECK])
$string： Perl字符串
encoding： 是给定的编码方式
$octets: 是编码之后的字节流
check: 表示转换时如何处理畸变字符（也就是Perl认不出来的字符）。一般不需使用
编码方式视语言环境的不同有很大变化，默认可以识别utf8、ascii、ascii-ctrl、
iso-8859-1等。
decode函数则是用来解码字节流的。它按照你给出的编码格式解释给定的字节流，将其转化为使用utf8编码的Perl字符串，一般来说从终端或者文件取得的文本数据都应该用decode转换为Perl字符串的形式。它的格式为：
$string = decode(ENCODING, $octets [, CHECK])
$string、ENCODING、$octets和CHECK的含义同上。
现在就很容易理解上面写的那段程序了。因为字符串是用明文写出的，存放的时候已经是字节流形式，丧失了本来的意义，所以首先就要用 decode函数将其转换为Perl字符串，由于汉字一般都用gb2312格式编码，这里decode也要使用gb2312编码格式。转换完成后Perl 对待字符的行为就和我们一样了，平时对字符串进行操作的函数基本上都能正确对字符进行处理，除了那些本来就把字符串当成一堆字节的函数（如vec、 pack、unpack等）。于是split就能把字符串切成单个字符了。最后由于在输出的时候不能直接使用utf8编码的字符串，还需要将切割后的字符用encode函数编码为gb2312格式的字节流，再用print输出。
下面就以中文文本的处理为例进行说明，比如有一个字符串"测试文本"，我们想要把这个中文字符串拆成单个字符，可以这样写：
use Encode;
$dat="测试文本";
$str=decode("gb2312",$dat);
@chars=split //,$str;
foreach $char (@chars) {
print encode("gb2312",$char),"\n";
}
结果大家试一试就知道了，应该是令人满意的。
这里主要用到了Encode模块的decode、encode函数。要了解这两个函数的作用我们需要清楚几个概念：
1、Perl字符串是使用utf8编码的，它由Unicode字符组成而不是单个字节，每个utf8编码的Unicode字符占1~4个字节（变长）。
2、进入或离开Perl处理环境（比如输出到屏幕、读入和保存文件等等）时不是直接使用Perl字符串，而需要把Perl字符串转换成字节流，转换过程中使用何种编码方式完全取决于你（或者由Perl代劳）。一旦Perl字符串向字节流的编码完成，字符的概念就不存在了，变成了纯粹的字节组合，如何解释这些组合则是你自己的工作。
我们可以看出如果想要Perl按照我们的字符概念来对待文本，文本数据就需要一直用Perl字符串的形式存放。但是我们平时写出的每个字符一般都被作为纯ASCII字符保存（包括在程序中明文写出的字符串），也就是字节流的形式，这里就需要encode和decode函数的帮助了。
encode函数顾名思义是用来编码Perl字符串的。它将Perl字符串中的字符用指定的编码格式编码，最终转化为字节流的形式，因此和Perl处理环境之外的事物打交道经常需要它。其格式很简单：
$octets = encode(ENCODING, $string [, CHECK])
$string： Perl字符串
encoding： 是给定的编码方式
$octets: 是编码之后的字节流
check: 表示转换时如何处理畸变字符（也就是Perl认不出来的字符）。一般不需使用
编码方式视语言环境的不同有很大变化，默认可以识别utf8、ascii、ascii-ctrl、
iso-8859-1等。
decode函数则是用来解码字节流的。它按照你给出的编码格式解释给定的字节流，将其转化为使用utf8编码的Perl字符串，一般来说从终端或者文件取得的文本数据都应该用decode转换为Perl字符串的形式。它的格式为：
$string = decode(ENCODING, $octets [, CHECK])
$string、ENCODING、$octets和CHECK的含义同上。
现在就很容易理解上面写的那段程序了。因为字符串是用明文写出的，存放的时候已经是字节流形式，丧失了本来的意义，所以首先就要用 decode函数将其转换为Perl字符串，由于汉字一般都用gb2312格式编码，这里decode也要使用gb2312编码格式。转换完成后Perl 对待字符的行为就和我们一样了，平时对字符串进行操作的函数基本上都能正确对字符进行处理，除了那些本来就把字符串当成一堆字节的函数（如vec、 pack、unpack等）。于是split就能把字符串切成单个字符了。最后由于在输出的时候不能直接使用utf8编码的字符串，还需要将切割后的字符用encode函数编码为gb2312格式的字节流，再用print输出。
上一篇: 有关perl的内置特殊变量介绍
下一篇: 用perl写的单位电脑信息采集程序
相关文章
js URLdecode()与urlencode方法支持中文解码
下面来介绍在js中来利用urlencode对中文编码与接受到数据后利用URLdecode()对编码进行解码，有需要学习的机友可参考参考。 代码如下 复制代码 ...2016-09-20- 这篇文章主要介绍了Windows批量搜索并复制/剪切文件的批处理程序实例,需要的朋友可以参考下...2020-06-30
BAT批处理判断服务是否正常运行的方法(批处理命令综合应用)
批处理就是对某对象进行批量的处理，通常被认为是一种简化的脚本语言，它应用于DOS和Windows系统中。这篇文章主要介绍了BAT批处理判断服务是否正常运行(批处理命令综合应用),需要的朋友可以参考下...2020-06-30关于Mysql中文乱码问题该如何解决(乱码问题完美解决方案)
最近两天做项目总是被乱码问题困扰着，这不刚把mysql中文乱码问题解决了，下面小编把我的解决方案分享给大家，供大家参考，也方便以后自己查阅。首先：用show variables like “%colla%”；show varables like “%char%”；这两条...2015-11-24- 这篇文章主要介绍了C#读取中文文件出现乱码的解决方法,涉及C#中文编码的操作技巧,非常具有实用价值,需要的朋友可以参考下...2020-06-25
- 在debian环境下，彻底解决mysql无法插入和显示中文的问题Linux下Mysql插入中文显示乱码解决方案mysql -uroot -p 回车输入密码进入mysql查看状态如下：默认的是客户端和服务器都用了latin1，所以会乱码。解决方案:mysql>use...2013-10-04
- 一.mysql默认不支持中文,它的server和db默认是latin1编码.所以我们要将其改变为utf-8编码,因为utf-8包含了地球上大部分语言的二进制编码 1.关闭mysql服务 sudo /etc/init.d/mysql stop 2.修改mysql配置文件 mysql配...2015-10-21
- file_get_contents的超时处理话说，从PHP5开始，file_get_content已经支持context了（手册上写着：5.0.0 Added the context support. ），也就是说，从5.0开始，file_get_contents其实也可以POST数据。今天说的这篇是讲超时的，确实在...2013-10-04
- 我们自己鼓捣mysql时，总免不了会遇到这个问题：插入中文字符出现乱码，虽然这是运维先给配好的环境，但是在自己机子上玩的时候咧，总得知道个一二吧，不然以后如何优雅的吹牛B。...2015-03-15
- 小编分享了一段简单的php中文转拼音的实现代码，代码简单易懂，适合初学php的同学参考学习。 代码如下 复制代码 <?phpfunction Pinyin($_String...2017-07-06
- 这篇文章主要介绍了C#多线程中的异常处理操作,涉及C#多线程及异常的捕获、处理等相关操作技巧,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了postgresql 中的时间处理小技巧(推荐),本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-03-29
- 这篇文章主要介绍了Python同时处理多个异常的方法,文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下...2020-07-29
- 这篇文章主要介绍了Java连接数据库oracle中文乱码解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-05-16
C#异常处理中try和catch语句及finally语句的用法示例
这篇文章主要介绍了C#异常处理中try和catch语句及finally语句的用法示例,finally语句的使用涉及到了C#的垃圾回收特性,需要的朋友可以参考下...2020-06-25- 这两天在用Perl编写一些监控脚本，其实写代码也是一件挺有意思的事情，就是挺废时间的。而且，由于语法不太熟，基本想到一个东西都要先Google一下看怎么实现。...2020-06-29
- 下面小编就为大家带来一篇Perl与JS的对比分析(数组、哈希)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧...2020-06-29
- 这篇文章主要介绍了python如何用moviepy对视频进行简单的处理，帮助大家更好的利用python处理视频，感兴趣的朋友可以了解下...2021-03-11
- 一、简介 模式指在字符串中寻找的特定序列的字符，由反斜线包含：/def/即模式def。其用法如结合函数split将字符串用某模式分成多个单词：@array = split(/ /, $line);二、匹配...2020-06-29
- 这篇文章介绍了C#异常处理，有需要的朋友可以参考一下...2020-06-25