由于某些原因需要用python读取二进淛转汉字文件,这里主要用到struct包而这个包里面的方法主要是unpack、pack、calcsize。详细介绍可以看:这里主要讨论,python二进制转汉字转浮点数的操作
較小的文件,可以一次读取:
例如:我需要读取一个名为filename存放着形状为[100,1025]的浮点数的文件。可以采用以下办法
# 102500为文档中包含的数字个数洏一个浮点数占4个字节
我需要处理的文件大小有38.1G,存放着[5]大小的向量
关于大文件的处理,我参考了这文章但是,这个方法不能很好的將二进制转汉字文件转换成浮点数
所以我想到了另外一种办法:
通过Linux命令切割文件
通过split命令将38.1G的文件按照指定大小切割,
上述代码的意思是指定每块大小为820000k,-a 2代表2位数命名‘data_'代表前缀是'data_'
通过python循环读取文件
为了方便读取,将49个二进制转汉字文件转换成numpy专用二进制转汉字格式*.npy
以上就是本文的全部内容希望对大家的学习有所帮助,也希望大家多多支持我们