新手学python(1):解析XML与系统调用
最近需要做一个项目,完成一批音乐的格式转换。由于之前并未学习过python,所以想借此机会学一下。在介绍自己的学习过程之前,先把项目简要描述一下。目前在一台服务器a上有几十万首原始的MP3音乐文件,现在需要将其转换成wav文件进行后续的指纹提取,提取过程可以在a上完成。不过指纹匹配的过程需要耗费几十G的内存,服务器a上没有这么多内存,所以匹配过程需要在服务器b上完成。此外,为了方便今后对几十万首歌的检索,需要将歌曲信息存入数据库,数据库架设在服务器b上。现在比较麻烦的一点是,原始MP3音乐的信息目前存在与一系列的xml文件中,我们需要解析xml文件获取音乐信息然后存入数据库。整个运行流程如图一。
图1 项目的运行流程
之前见很多人用python,说它的各种好处,几行代码就可以构造一个爬虫,我很怀疑。为了跟上时代潮流,我也还是学习一下,看看python到底多牛。
首先从同事那里借了本《Python核心编程》,看了两天,大体熟悉了一下python。如果从现在的角度来看此书,我感觉这本书真是烂透了,内容虽然很全,但都是浅尝辄止。如果说适合于初学者,但是很多概念又没解释清楚,内容介绍比较混乱。肯定不适合高级程序员,建议大家搜索新的python书籍。不过烂归烂,我初学python就是靠它了。
其实一门语言的学习,了解基本语法只需要一天;能尝试应用只需要两天;但是想熟练使用,尤其是各个库的使用,得需要常年累月的积累。所以大家不要对新语言有抵触心理,上手都比较容易,写个hello world程序真是分分钟的事。好了,下面开始介绍自己学习python时用到的几个应用。
1解析XML文件
我面临的第一个任务是如何解析xml文件获得歌曲信息。存有歌曲信息的xml文件非常复杂,简化版的xml内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<Metadata xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="http://aoma.sonydadc.com/Media_Metadata_DADC_2_0_OSA.xsd" Version="2.0">
<Product>
……
<Title>Mozart: Le Nozze di Figaro - The Sony Opera House</Title>
<Physical_release_date>20072009</Physical_release_date>
……
<Container>
<Media>
<Work>
……
<Medium>
……
<Title>Le nozze di Figaro, K. 492: Sinfonia</Title>
……
<Genres>
<Genre>
<Genre_name>Classical</Genre_name>
<Is_main_genre>true</Is_main_genre>
</Genre>
</Genres>
<Participants>
<Participant>
<Participant_type>Artist</Participant_type>
<Participant_full_name>Orchestra del Maggio Musicale Fiorentino</Participant_full_name>
<Is_main_artist>true</Is_main_artist>
</Participant>
……
</Participants>
<Master_file>
<Audio_file>
<Audio_content_type>Music</Audio_content_type>
<Filename>00000000000020961825_01_001_25003.mp3</Filename>
</Audio_file>
</Master_file>
……
</Medium>
……
</Work>
</Media>
</Container>
……
</Product>
</Metadata>
其简化版的层次结构如图二。
图2 xml的层次结构图
我需要通过解析xml文件获得音乐的专辑,发行时间,歌曲名,作者,类型,原始文件名,目录,大小等信息。看似复杂,但是解析用到的函数就几个:
- getElementsByTagName:获得父标签下所有指定的标签,结果是一个nodeList;
- childNodes:获得一个标签的所有子标签,结果是一个nodeList;
- nodeValue:获得标签的值。
具体的解析过程就是反复利用上面这三个函数逐层进行解析。解析代码如下:
from xml.dom import minidom class ParseXML(object): @staticmethod
def parse(file):
results=list();
results.append(os.path.dirname(file)); doc=minidom.parse(file);
doc.toxml('utf-8');
root=doc.documentElement;
product=root.getElementsByTagName('Product');
children=product[0].childNodes;#the result is a list,even though only one element, we must use index to visit the function
for child in children:#parse an album
if child.nodeName=='Title':
results.append(child.childNodes[0].nodeValue.encode('utf-8','ignore').strip());
elif child.nodeName=='Physical_release_date':
results.append(child.childNodes[0].nodeValue.encode('utf-8','ignore').strip());
elif child.nodeName=='Container':
medias=child.getElementsByTagName('Media');
for media in medias:#parse every music
medium=media.getElementsByTagName('Medium');
for m in medium:
result=list();
attributes=m.childNodes;
for attribute in attributes:
if attribute.nodeName=='Title':
result.append(attribute.childNodes[0].nodeValue.encode('utf-8','ignore').strip());
elif attribute.nodeName=='Genres':
genre=attribute.getElementsByTagName('Genre');
genre_name=genre[0].getElementsByTagName('Genre_name');
result.append(genre_name[0].childNodes[0].nodeValue.encode('utf-8','ignore').strip());
elif attribute.nodeName=='Participants':
participant=attribute.getElementsByTagName('Participant');
full_name=participant[0].getElementsByTagName('Participant_full_name');
result.append(full_name[0].childNodes[0].nodeValue.encode('utf-8','ignore').strip());
elif attribute.nodeName=='Master_file':
audio_file=attribute.getElementsByTagName('Audio_file');
filename=audio_file[0].getElementsByTagName('Filename');
result.append(filename[0].childNodes[0].nodeValue.encode('utf-8','ignore'));
full_name=os.path.join(os.path.dirname(file),filename[0].childNodes[0].nodeValue.encode('utf-8','ignore'));
result.append(os.path.getsize(full_name));
results.append(result);
results.append(len(results)-3);
return results;
代码比较长,但是逻辑比较简单。首先加载root,然后获得root的Product标签。需要注意的一点是getElementsByTagName返回的是一个列表,即使只有一个子标签,我们也要用下标的形式访问。获得Product标签之后,就利用childNodes函数解析获得所有的子标签。从子标签中我们可以直接解析获得音乐的专辑和发行时间。为了获得其他信息,我们需要进一步解析Container标签,解析方法和Product标签的解析类似。
还有两点需要解释。第一,Product标签的子节点不只有字面上的Title等标签,还有换行也是标签。如果我们将Product的子节点都打印出来,结果类似于:
[<DOM Text node "\n ">, <DOM Element: Title at 0x2b9a0dad6d40>, <DOM Textnode "\n ">,……]。
可以看到,列表的第一个元素是Textnode,第二个元素才是Title标签。这表明minidom将换行解析为一个独立的元素。所以在解析如:
<Element>
Value
</Element>
的标签时,它实际上有三个子标签。第二,在获取一个标签的内容时,也必须通过childNodes函数来获取。例如,我们要获得Title的内容,如果我们直接访问title的内容,则会返回None。所以我们首先返回Title标签的所有子标签,然后获得子标签的内容。
代码为了后续应用,将解析的结果存入一个列表中。此外,由于歌曲名等可能有非ascii码,代码还用utf-8对结果进行了编码。
2 系统调用
Python作为一种脚本语言,肯定少不了调用系统命令执行一些任务。Python中主要有两个函数system和popen,都在os库中。当然也可以通过subprocess模块执行系统调用,它们方式都一样。
格式转换需要调用ffmpeg将MP3文件转换为wav文件,由于不需要返回值,所以采用system函数,代码如下:
@staticmethod
def transform(file,save_to,name):
new_name=name+'.wav';
saved_file=os.path.join(save_to,new_name);
os.system('./ffmpeg -i '+file+' -y -ar 8000 -ac 1 -vn '+saved_file);
有时我们不仅要运行外部命令,而且要获取外部命令的运行结果。例如,我们统计一个目录下的wav文件个数则可以用命令:ls dir/*.wav|wc–l实现。这个值在命令行运行时会输出到终端。但是现在我们需要利用这个值就需要利用popen:
@staticmethod
def wavCount(dir):
f=os.popen(‘ls ’+dir+’/*.wav |wc -l’);
count=f.readline();
f.close();
return count;
后续会介绍Python的网络通信和数据库编程等内容。
新手学python(1):解析XML与系统调用的更多相关文章
- 用 ElementTree 在 Python 中解析 XML
用 ElementTree 在 Python 中解析 XML 原文: http://eli.thegreenplace.net/2012/03/15/processing-xml-in-python- ...
- python sax解析xml
#books.xml<catalog> <book isbn="0-596-00128-2"> <title>Python & XML& ...
- python etree解析xml
# -*- coding:utf-8 -*- #conding:utf-8 __author__ = 'hdfs' ''' 简洁 高效 明了 ElementTree轻量级的 Python 式的 API ...
- python DOM解析XML
#conding:utf-8 # -*- coding:utf-8 -*- __author__ = 'hdfs' """ XML 解析 :DOM解析珍整个文档作为一个可 ...
- 【新手学Python】一、基础篇
由于以前处理数据用Matlab和C,最近要处理大量文本文件,用C写实在是太繁琐,鉴于Python的强大文本处理能力,以及其在Deep Learning上有着很大优势,本人打算从即日起学习Python, ...
- 新手学python(3):yield与序列化
1 Yield生成器 Yield是我在其他语言中没有见过的一个属性,算是python的一大特色,用好之后可以使代码更简洁.考虑一个简单的例子,文件的遍历.要遍历一个目录下的所有文件需要递归的操作.如果 ...
- 新手学python(2):C语言调用完成数据库操作
继续介绍本人的python学习过程.本节介绍如何利用python调用c代码.内容还是基于音乐信息提取的过程,架构如图一.Python调用c实现的功能是利用python访问c语言完成mysql数据库操作 ...
- python解析xml模块封装代码
在python中解析xml文件的模块用法,以及对模块封装的方法.原文转自:http://www.jbxue.com/article/16586.html 有如下的xml文件:<?xml vers ...
- 用js解析XML文件,字符串一些心得
解析XML文件遇到的问题 今天秦博士叫我解析一下XML文件,将里面的所有的X坐标Y坐标放在一个数组里面然后写在文档里让他进行算法比对,大家都知道了啦,解析XML文件获取里面的坐标数据什么的,当然是用前 ...
随机推荐
- Python中dict的功能介绍
Dict的功能介绍 1. 字典的两种函数(方法) 1. 字典的内置函数 包含关系 格式:x.__contains__(key)等同于key in x 例如:dic = {'ab':23,'cd':34 ...
- PTA 旅游规划(25 分)
7-10 旅游规划(25 分) 有了一张自驾旅游路线图,你会知道城市间的高速公路长度.以及该公路要收取的过路费.现在需要你写一个程序,帮助前来咨询的游客找一条出发地和目的地之间的最短路径.如果有若干条 ...
- swift之属性
知识点总结: 1.存储属性 struct Town{ let region = "South" //只读属性 var population = //读写属性 } 2.惰性存储属性 ...
- vscode 搭建go开发环境的13个插件的安装
由于网的问题 大家都不能直接go get 这里从易到难按难度给大家推荐几种方法 最简单的FQ 但是能FQ你还不能装 请问是假的FQ吗? 第一 用git 直接git反而能从那边趴下代码 但是要自己go ...
- Eclipse创建Maven工程
Eclipse创建Maven工程: Eclipse: New -> Other -> Maven Project -> Next -> webapp -> Finish ...
- C# get 、set、索引器
get 与 set C#类的属性有公有属性(public)和私有属性(private).如果直接将一个属性声明为public,则该类的任意实例可以随意获取或修改该属性的值,很不安全..NET Fram ...
- Android开发技巧——BaseAdapter的另一种优雅封装
RecyclerView虽然因其灵活性.高效性等特点而备受好评,但也不是一定得用它把ListView给替代掉.在某些场景中,ListView还是相对更适合的.比如数据量不大,不频繁更新,并且需要简单地 ...
- 安卓热修复之AndFIX
我致力于最新的前沿安卓技术分析和使用教学,不打算将很多很深的东西,因为有多少人愿意沉下你的心境去学习难点?我一般只会简单提及.文字错漏在所难免还希望同学们喜欢 热修复介绍 热修复是什么? 如果你一个项 ...
- 给PLSQL插上飞翔的翅膀-PLSQL优化
60-80% of database performance issues are related to poorly performing SQL,60-80%的数据库性能问题要归结于生产中糟糕的S ...
- Objective-C数据结构
Objective-C数据结构 枚举 typedef enum { SexMan, SexWoman } Sex; 结构体 typedef struct { int year; int month; ...