解决python3 整数数组转bytes的效率问题
昨天在做一道CTF题的时候碰到了一个图片异或的问题，操作大概如下：
将一个图片读入，然后每字节进行异或操作，核心代码可简化为以下：
#coding:utf-8
'''
@DateTime: 2017-11-25 13:51:33
@Version: 1.0
@Author: Unname_Bao
'''
import six
key = b'\xdcd~\xb6^g\x11\xe1U7R\x18!+9d\xdcd~\xb6^g\x11\xe1U7R\x18!+9d'
with open('flag.encrypted','rb') as f:
c = f.read()
flag = b''
for i in range(32):
flag += six.int2byte(key[i%32]^c[i])
with open('flag.png','wb') as f:
f.write(flag)
然后就碰到了一个效率问题，跑了十几分钟都没有跑出结果，起初以为是类型转换的问题，因为比较急，于是换了成了C++的代码去解决，后来一直没多想。
今天闲下来的时候才发现代码之前的代码中存在一个非常大的问题：
内存申请问题
由于flag.encrypted文件大小为6.47MB之大，由于我的脚本思路是不断在byte数组后添加，但忽略了其本质。
就是在内存申请过程中，由于数组长度最终为600+W大小，期间存在多次数组内存不够，需要重新申请内存的问题，而python中的内存申请显然没有C++的vector的push_back有效率。
而且python中，无论是list、string还是byte，也没有reserve这种函数，不能预留内存空间（这时候真的要吐槽一下python设计者对速度优化的考量了）。
于是只能用另一种方法进行优化，就是先用list申请一个需求大小的内存空间，然后再转为bytes使用，
代码如下：
#coding:utf-8
'''
@DateTime: 2017-11-26 14:09:29
@Version: 2.0
@Author: Unname_Bao
'''
key = b'\xdcd~\xb6^g\x11\xe1U7R\x18!+9d\xdcd~\xb6^g\x11\xe1U7R\x18!+9d'
with open('flag.encrypted','rb') as f:
c = f.read()
flag = list('1'*len(c))
for i in range(len(c)):
flag[i] = key[i%32]^c[i]
flag = bytes(flag)
with open('flag.png','wb') as f:
f.write(flag)
这样写的话几乎是瞬间完成任务了，但还是比C++慢很多，这是不可避免的。
补充：python2与python3的bytes问题
>>> s = '编程' >>> print s 编程 >>> s '\xe7\xbc\x96\xe7\xa8\x8b' >>>
在python2中直接调用字符串的变量的话，会打印其bytes(可以理解成用16进制表示字符串的内存地址，本质还是二进制）。在python2中，bytes和str是一回事。
为什么要有个bytes呢？因为所有数据本质都是用二进制进行储存的，当传输数据的时候，要把这些数据先转换成二进制( bytes)在进行传输。除此之外，python2里还有个单独的数据类型，把字符串解码后，就会变成unicode。
>>> s
'\xe8\xb7\xaf\xe9\xa3\x9e' #utf-8
>>> s.decode('utf-8')
u'\u8def\u98de' #unicode 在unicode编码表里对应的位置
>>> print(s.decode('utf-8'))
路飞 #unicode 格式的字符
原因是python2的默认编码是ASCII,后来为了支持多国语言，就想弄个unicode。但是直接把ASCII转成unicode是很费劲的，所以龟叔直接搞了一个新的字符类型，就叫unicode,说白了就是你得在内存里先把字符串存成unicode类型
2008年python3出世，来了个大变革：
1、把字符串的编码变成了unicode,文件默认编码变成了utf-8。
2、把str 和bytes 做了明确区分， str 就是unicode格式的字符， bytes就是单纯二进制还有一个很重要的是，在python3中，只有unicode给你展示字形，其他的编码一律用bytes展示，也就是说要你强制使用unicode。
最后再提示一下，Python只要出现各种编码问题，无非是哪里的编码设置出错了
常见编码错误的原因有：
Python解释器的默认编码
Python源文件文件编码
Terminal使用的编码
操作系统的语言设置
以上为个人经验，希望能给大家一个参考，也希望大家多多支持猪先飞。如有错误或未考虑完全的地方，望不吝赐教。
相关文章
- 在php中eval是一个函数并且不能直接禁用了，但eval函数又相当的危险了经常会出现一些问题了，今天我们就一起来看看eval函数对数组的操作 例子， <?php $data="array...2016-11-25
- 这篇文章主要介绍了Python 图片转数组,二进制互转操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 本文章提供在量的数据中级操作实例有如对键名比较计算数组的差集 计算差集 给指定数组中插入一个元素 反转数组 交集赋值新的数组实例。 //定义回调函数 funct...2016-11-25
- 这篇文章主要介绍了Python3 实现将bytes图片转jpg格式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-08
- 这篇文章主要介绍了C#二维数组基本用法,以实例形式分析了C#中二维数组的定义、初始化、遍历及打印等用法,具有一定参考借鉴价值,需要的朋友可以参考下...2020-06-25
- Array数组在C#中同样是最基本的数据结构,下面为大家C#数组的常用操作方法小结,皆为细小的代码段,欢迎收看收藏...2020-06-25
Python3中小括号()、中括号[]、花括号{}的区别详解
这篇文章主要介绍了Python3中小括号()、中括号[]、花括号{}的区别详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-11-15- 下面一段代码给大家介绍php curl模拟post请求的示例代码，具体代码如下： <?php$uri = "http://www.cnblogs.com/test.php";//这里换成自己的服务器的地址// 参数数组$data = array ( 'name' => 'tanteng'// 'passwor...2015-11-24
- 下面小编就为大家带来一篇C# 拷贝数组的几种方法(总结)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧...2020-06-25
- 本文记录的要实现的功能类似于 MySQL 中的 ORDER BY，上个项目中有遇到这样的一个需求。 要求：从两个不同的表中获取各自的4条数据，然后整合(array_merge)成一个数组，再根据数据的创建时间降序排序取前4条。 遇到这个...2014-06-07
- 这篇文章主要介绍了C#实现字符串转换成字节数组的简单实现方法,仅一行代码即可搞定,非常简单实用,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了c#将字节数组转成易读的字符串的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-06-25
- 这篇文章主要介绍了C#读取文件所有行到数组的方法,涉及C#针对文件及数组的相关操作技巧,需要的朋友可以参考下...2020-06-25
- 如何将下面的二维数组转为一维数组。复制代码 代码如下:$msg = array( array( 'id'=>'45', 'name'=>'jack' ), array( 'id'=>'34', 'name'=>'mary' ), array( 'id...2014-05-31
- 在php中为我们提供了一个函数var_export 他可以直接将php代码入到一个文件中哦。 代码如下 复制代码 var_export($times,true);后面不加tru...2016-11-25
- 这篇文章主要介绍了Python3 常用数据标准化方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-24
- 本文为代码分享，也是在工作中看到一些“大牛”的代码，做做分享。 具体是这样的，如下一个二维数组，是从库中读取出来的。 代码清单： 复制代码 代码如下: $user = array( 0 => array( 'id' => 1, 'name' => '张三', 'ema...2014-06-07
- 1.前言 昨天碰到一道关于如何解决有序数组的连接问题，这是一个很常见的问题。但是这里要考虑到代码的效率问题，因为要连接的数组都是有序的，这是一个非常重要的前提条件。2.简单但效率不高的算法 我首先想到的是使用...2013-10-04
- 今天小编就为大家分享一篇python 实现将Numpy数组保存为图像，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
C#中数组、ArrayList、List、Dictionary的用法与区别浅析(存取数据)
在工作中经常遇到C#数组、ArrayList、List、Dictionary存取数据，但是该选择哪种类型进行存储数据呢？很迷茫，今天小编抽空给大家整理下这方面的内容，需要的朋友参考下吧...2020-06-25