扫一扫体验手机阅读
[Python]用python实现批量/并发处理(完善版)
<span type="1" blog_id="1067046" userid='
159篇文章，332W+人气，1粉丝
运维开发全攻略
￥51.0018人订阅
大数据时代的微服务之路
￥51.00500人订阅
<span type="1" blog_id="1067046" userid='在学习《Building Machine Learning Systems with Python Second Edition》时（链接： 密码：7q1u），里面涉及到一部分做音乐类型分类的，是利用Sox批处理.au 格式的音频文件，将其转化为.wav 格式
(1) 包含了需要的音频文件，1G多，其详细介绍可以 查看我上面分享的资料。
(2) 下载sox-14.4.2，号称音频处理的瑞士军刀，用于格式转换，我的是win10系统，安装后要将安装目录添加到系统环境变量，接下来控制台才能直接使用该程序命令
（1）解压前面下载好的音频后，复制一部分到事先建立好的文件夹D:\TEMP ，供测试代码用
（2）熟悉sox命令
在D:\TEMP 文件夹下打开控制台cmd，输入
sox metal.00000.au 0.wav
作用是将音频文件metal.00000.au 转换为0.wav ，原来文件不丢失，当然sox还有其他功能，我自己没有用上就不赘述了，有兴趣的也可以查看官方文档
（3）如果每次都只处理一个就太麻烦了，接下来就用python进行批处理，涉及到了os.system(),os.listdir(),os.path.split()等函数进行操作，详细的功能写在了代码注释，额外就不多说了
fp=r'D:\\TEMP'
os.chdir(fp)
def eachfile(filepath):
musicfile=[]
pathdir=os.listdir(filepath)
for s in pathdir:
newdir = os.path.join(filepath,s)
if os.path.isfile(newdir):
if os.path.splitext(newdir)[1]==".au":
musicfile.append(newdir)
return musicfile
def rename_txtfilename(fp):
f=eachfile(fp)
for i in range(len(f)):
nowdir = os.path.split(f[i])[0]
filename = os.path.split(f[i])[1]
os.rename(nowdir+"\\\\"+filename,nowdir+"\\\\"+str(i)+'.au')
rename_txtfilename(fp)
def music_convert(fp):
f = os.listdir(fp)
for i in range(len(f)):
g.append(f[i].split('.')[0])
for i in range(len(f)):
os.system('sox %s %s' %(f[i], g[i]+'.wav'))
music_convert(fp)
结果如下：
也可以直接使用music_convter(filepath)
def music_convert(fp):
f = os.listdir(fp)
for i in range(len(f)):
g.append(str(i))
for i in range(len(f)):
os.system('sox %s %s' %(f[i], g[i]+'.wav'))
输出如下：
前面进行文件名的更改纯粹是自己练习一下如何用python批处理操作的，也方便以后遇到类似的问题能快速解决
这篇博客最重要的还是介绍了使用python调用外部程序来操作的方法，也就是os.system() 函数，还有python强大的格式转换功能。
python 批量处理文件
用 python 实现批处理文件
python再学习4 启动cmd批处理文件
如何使用python写批处理
批处理与python配合编程的方法
windows下，使用批处理文件运行python程序
Python实现批处理
python文件批处理
使用python读取指定目录下的指定类型文件
没有更多推荐了，基于python批量处理dat文件及科学计算的方法
&#xe609;原创
&#xe60e; 14:15:59
&#xe756;281
这篇文章主要介绍了关于基于python批量处理dat文件及科学计算的方法，有着一定的参考价值，现在分享给大家，有需要的朋友可以参考一下摘要：主要介绍一些python的文件读取功能，文件内容修改，文件名后缀更改等操作。批处理文件功能import os
path1 = &#39;C:\\Users\\awake_ljw\\Documents\\python for data analysis\\test1&#39;
path2 = &#39;C:\\Users\\awake_ljw\\Documents\\python for data analysis\\test2&#39;
filelist = os.listdir(path1)
for files in filelist:
Olddir = os.path.join(path1,files)
filename = os.path.splitext(files)[0]
filetype = os.path.splitext(files)[1]
print Olddir
file_test = open(Olddir,&#39;r&#39;)
Newdir = os.path.join(path2,str(filename)+&#39;.csv&#39;)
print Newdir
file_test2 = open(Newdir,&#39;w&#39;)
for lines in file_test.readlines():
strdata = &,&.join(lines.split(&#39;\t&#39;))
file_test2.write(strdata)
file_test.close()
file_test2.close()os模块是python最基础的模块之一，一般用于文件处理等操作。上面这段代码主要就是将dat文件转化为csv文件，同时保证csv可读。一般txt文件不能通过直接改后缀改变呈csv文件格式，一般会造成文件不可读。csv文件一般通过逗号分隔文本，数据处理起来较得心应手，可以直接改后缀得到xlsx文件，一般excel也可读。科学计算matlab作为一门科学计算编程语言，在科学计算的应用实在广泛，包括webread等强大的函数用起来十分顺手，但matlab是商业软件，并不免费。其实，python在科学计算效率或函数库功能包括其绘图功能、图像处理都很强大，(相比matlab，python的调色板更出色)。以下列举一些数据文件读取，绘图的一些基本操作作为参考。数据提取及绘图#数据提取
import pandas as pd
import numpy as np
number = -1;
sudu=np.zeros(5247*5,dtype=float).reshape(5247,5)
for files in filelist1:
number +=1
data = pd.read_csv(str(number+1)+&#39;a.csv&#39;)
sudu[:,number]=data[&#39;velocity&#39;]
x = data[&#39;x&#39;]
y = data[&#39;y&#39;]
a = sudu[0:5184,0].reshape(81,64)
%matplotlib inline
import matplotlib.pyplot as plt
extent = [np.min(x),np.max(x),np.min(y),np.max(y)]
plt.subplot(231)
u0 = sudu[0:5184,0].reshape(81,64)
plt.imshow(u0,extent=extent,origin=&#39;lower&#39;)
plt.subplot(232)
u1 = sudu[0:5184,1].reshape(81,64)
plt.imshow(u1,extent=extent,origin=&#39;lower&#39;)
plt.subplot(233)
u2 = sudu[0:5184,2].reshape(81,64)
plt.imshow(u2,extent=extent,origin=&#39;lower&#39;)
plt.subplot(234)
u3 = sudu[0:5184,3].reshape(81,64)
plt.imshow(u3,extent=extent,origin=&#39;lower&#39;)
#plt.axis(&equal&)
plt.subplot(235)
u4 = sudu[0:5184,4].reshape(81,64)
plt.imshow(u4,extent=extent,origin=&#39;lower&#39;)
plt.subplot(236)
u5 = sudu[0:5184,4].reshape(81,64)
plt.imshow(u5,extent=extent,origin=&#39;lower&#39;)
cs = plt.contour(u5, 20,extent = extent)
plt.xlim(-0.8,0.8)
plt.ylim(0.6,2.2)
plt.axis(&#39;equal&#39;)python的科学计算功能与matlab及其相似，python有几点不同在于1.python有元组的数据类型，元组不同于列表，元组不可更改2.python的数据检索使用[]总而言之，python的数据形式及其丰富。numpy以及pandas是python用于数据处理的两个库，具体使用方法主要推荐python科学计算这本书。matplotlib用于绘图，刚也说了，其调色板很厉害哦，图像质量不错。预告：代码运行环境均为jupyter notebook，简直神器一般的存在，网上搭建的资料也太多。相关推荐：以上就是基于python批量处理dat文件及科学计算的方法的详细内容，更多请关注php中文网其它相关文章！
江湖传言：PHP是世界上最好的编程语言。真的是这样吗？这个梗究竟是从哪来的？学会本课程，你就会明白了。
PHP中文网出品的PHP入门系统教学视频，完全从初学者的角度出发，绝不玩虚的，一切以实用、有用...
ThinkPHP是国内最流行的中文PHP开发框架,也是您Web项目的最佳选择。《php.cn独孤九贱(5)－ThinkPHP5视频教程》课程以ThinkPHP5最新版本为例，从最基本的框架常识开始，将...
《php.cn原创html5视频教程》课程特色：php中文网原创幽默段子系列课程，以恶搞，段子为主题风格的php视频教程！轻松的教学风格，简短的教学模式，让同学们在不知不觉中，学会了HTML知识。
本套教程,以一个真实的学校教学管理系统为案例,手把手教会您如何在一张白纸上,从零开始,一步一步的用ThinkPHP5框架快速开发出一个商业项目。
所有计算机语言的学习都要从基础开始，《PHP入门视频教程之一周学会PHP》不仅是PHP的基础部分更主要的是PHP语言的核心技术，是学习PHP必须掌握的内容，任何PHP项目的实现都离不开这部分的内容，通...
本课以最新版ThinkPHP5.0.10为基础进行开发，全程实录一个完整企业点，从后台到前台，从控制器到路由的全套完整教程，不论是你是新人，还是有一定开发经验的程序员，都可以从中学到实用的知识~~
ThinkPHP是一个快速、开源的轻量级国产PHP开发框架，是业内最流行的PHP框架之一。本课程以博客系统为例，讲述如何使用TP实战开发，从中学习Thinkphp的实践应用。模版下载地址：http:/...
本课程是php实战开发课程，以爱奇艺电影网站为蓝本从零开发一个自己的网站。目的是让大家了解真实项目的架构及开发过程
本课以一个极简的PHP开发框架为案例,向您展示了一个PHP框架应该具有的基本功能，以及具体的实现方法，让您快速对PHP开发框架的底层实现有一个清楚的认识,为以后学习其实的开发框架打下坚实的基础。
javascript是运行在浏览器上的脚本语言，连续多年，被评为全球最受欢迎的编程语言。是前端开发必备三大法器中，最具杀伤力。如果前端开发是降龙十八掌，好么javascript就是第18掌：亢龙有悔。...
本站9月直播课已经结束,本套教程是直播实录,没有报上名或者漏听学员福利来了，赶紧看看吧，说不定这里就有你的菜
轻松明快，简洁生动，让你快速走入HTML5的世界，体会语义化开发的魅力
JavaScript能够称得上是史上使用最广泛的编程语言，也是前端开发必须掌握的三技能之一：描述网页内容的HTML、描述网页样式的CSS以及描述网页行为的JavaScript。本章节将帮助大家迅速掌握...
Bootstrap 是最受欢迎的 HTML、CSS 和 JS 框架，用于开发响应式布局、移动设备优先的 WEB 项目。为所有开发者、所有应用场景而设计,它让前端开发更快速、简单，所有开发者都能快速上手...
《php.cn独孤九贱（2）－css视频教程》课程特色：php中文网原创幽默段子系列课程，以恶搞，段子为主题风格的php视频教程！轻松的教学风格，简短的教学模式，让同学们在不知不觉中，学会了CSS知识...
《php用户注册登录系统》主要介绍网站的登录注册功能,我们会从最简单的实现登录注册功能开始，增加验证码，cookie验证等，丰富网站的登录注册功能
jQuery是一个快速、简洁的JavaScript框架。设计的宗旨是“write Less，Do More”，即倡导写更少的代码，做更多的事情。它封装JavaScript常用的功能代码，提供一种简便的...
《PHP学生管理系统视频教程》主要给大家讲解了HTML，PHP，MySQL之间的相互协作，实现动态的网页显示和获取数据.
《弹指间学会HTML视频教程》从最基本的概念开始讲起，步步深入，带领大家学习HTML,了解各种常用标签的意义以及基本用法，学习HTML知识为以后的学习打下基础
《最新微信小程序开发视频教程》本节课程是由微趋道录制，讲述了如何申请一个微信小程序，以及开发中需要使用哪些工具，和需要注意哪些等。
全栈工程师
文章总浏览数一个快速将python2代码批量转为python3代码的好方法一个快速将python2代码批量转为python3代码的好方法欧文情感百家号由于python存在python2和python3两个主要的版本方向，经常会有将python2的代码转到python3的环境下运行的需求。尤其是跑一些神经网络的代码时有很多是在python2的环境下写的。在python3下运行会遇见很多不兼容，最常见的就是python3中print函数必须加()而python2中不是。一个一个修改这种错误又非常麻烦。此时一种方式是再安装一个python2，比如下载anaconda对应的python2的版本，管理相关的库，运行的时候指定python2运行。不过如果是运行依赖比较多的代码可能需要在python2的环境安装许多包。这里介绍一个python3自带的脚本2to3.py，可以将python2的程序自动转为python3的形式，节省了很多修改细节的时间。这个脚本在Python安装目录下Toolsscripts文件夹下，如果是利用anaconda3安装的python3，就在anaconda3/Tools/scripts中，如下图：这个文件实际是可以复制到电脑任何位置使用的，当然也可以就在这个位置利用cmd使用，里面的代码也很简单，只有几行：使用方法也很简单，如果我需要转换某个python文件，比如E盘根目录下的test.py，只需要在命令行里输入python 2to3.py -w E:/test.py如果需要转换某个文件夹下的所有文件，例如E盘test文件夹下的所有文件，只需要在命令行里输入python 2to3.py -w E:/test/就是这么简单就可以完成python2代码像python3代码的变换，当然目前对于一些比较复杂的依赖这种方法还不能完全转换，还需要根据运行错误调整，不过已经可以节省很多的时间啦。本文由百家号作者上传并发布，百家号仅提供信息发布平台。文章仅代表作者个人观点，不代表百度立场。未经作者许可，不得转载。欧文情感百家号最近更新：简介:为婚姻情感、恋人情感提供一个参考。作者最新文章相关文章&nbsp>&nbsp
&nbsp>&nbsp
&nbsp>&nbsp
Python 批处理文件（全）
摘要：Mission:在学习《BuildingMachineLearningSystemswithPythonSecondEdition》时(链接:http://pan.baidu.com/s/1qYHcTU8密码:7q1u),里面涉及到一部分做音乐类型分类的,是利用Sox批处理.au格式的音频文件,将其转化为.wav格式Material:(1)http://opihi.cs.uvic.ca/sound/genres.tar.gz包含了需要的音频文件,1G多,其详细介绍可以查看我上
Mission: 在学习《Building Machine Learning Systems with Python Second Edition》时(链接:http://pan.baidu.com/s/1qYHcTU8 密码:7q1u),里面涉及到一部分做音乐类型分类的,是利用Sox批处理.au 格式的音频文件,将其转化为.wav 格式
Material: (1)http://opihi.cs.uvic.ca/sound/genres.tar.gz 包含了需要的音频文件,1G多,其详细介绍可以 查看我上面分享的资料。 (2)http://sox.sourceforge.net 下载sox-14.4.2,号称音频处理的瑞士军刀,用于格式转换,我的是win10系统,安装后要将安装目录添加到系统环境变量,接下来控制台才能直接使用该程序命令 (3)python
Process: (1)解压前面下载好的音频后,复制一部分到事先建立好的文件夹D:/TEMP ,供测试代码用
(2)熟悉sox命令 在D:/TEMP 文件夹下打开控制台cmd,输入 sox metal.00000.au 0.wav
作用是将音频文件metal.00000.au 转换为0.wav ,原来文件不丢失,当然sox还有其他功能,我自己没有用上就不赘述了,有兴趣的也可以查看官方文档
(3)如果每次都只处理一个就太麻烦了,接下来就用python进行批处理,涉及到了os.system(),os.listdir(),os.path.split()等函数进行操作,详细的功能写在了代码注释,额外就不多说了 import osfp=r'D://TEMP'os.chdir(fp) #一定要把工作目录修改到D://TEMP,不然会报错def eachfile(filepath): musicfile=[] pathdir=os.listdir(filepath) for s in pathdir: newdir = os.path.join(filepath,s) # 将文件命加入到当前文件路径后面 if os.path.isfile(newdir): #如果是文件 if os.path.splitext(newdir)[1]==&.au&: # 如果文件是&.au&后缀的 musicfile.append(newdir) return musicfile #返回只含txt文件的路径名# f=eachfile(fp)def rename_txtfilename(fp): f=eachfile(fp) #利用前面的函数提取出只含txt文件的路径名,是一个list for i in range(len(f)): nowdir = os.path.split(f[i])[0] #获取文件所在文件夹的路径 filename = os.path.split(f[i])[1] #获取文件名 # print(nowdir+&////&+filename) # print(&文件路径:%s,文件名:%s& %(nowdir,filename)) #注意print格式化输出格式 os.rename(nowdir+&////&+filename,nowdir+&////&+str(i)+'.au')rename_txtfilename(fp)# f = os.listdir(fp) #重新列出更名后的文件列表def music_convert(fp): f = os.listdir(fp) #重新载入修改后的文件名 g=[] for i in range(len(f)): g.append(f[i].split('.')[0]) # f存储的是文件名,split可以分离出后缀和文件名 # g.append(str(i)) # for i in range(len(f)): os.system('sox %s %s' %(f[i], g[i]+'.wav')) #python格式化输出的语法非常有用music_convert(fp)
也可以直接使用music_convter(filepath) def music_convert(fp): f = os.listdir(fp) #重新载入修改后的文件名 g=[] for i in range(len(f)): g.append(str(i)) # for i in range(len(f)): os.system('sox %s %s' %(f[i], g[i]+'.wav')) #python格式化输出的语法非常有用
前面进行文件名的更改纯粹是自己练习一下如何用python批处理操作的,也方便以后遇到类似的问题能快速解决
这篇博客最重要的还是介绍了使用python调用外部程序来操作的方法,也就是os.system() 函数,还有python强大的格式转换功能。
以上是的内容，更多
的内容，请您使用右上方搜索功能获取相关信息。
若你要投稿、删除文章请联系邮箱：zixun-group@service.aliyun.com,工作人员会在五个工作日内给你回复。
新用户大礼包！
现在注册，免费体验40+云产品，及域名优惠！
云服务器 ECS
可弹性伸缩、安全稳定、简单易用
&40.8元/月起
预测未发生的攻击
&24元/月起
你可能还喜欢
你可能感兴趣
阿里云教程中心为您免费提供
Python 批处理文件（全）相关信息，包括
的信息，所有Python 批处理文件（全）相关内容均不代表阿里云的意见！投稿删除文章请联系邮箱：zixun-group@service.aliyun.com，工作人员会在五个工作日内答复
售前咨询热线
支持与服务
资源和社区
关注阿里云
International