常用的提取网页数据的工具有三种xpath.css选择器.正则表达式 1.xpath 1.1在python中使用xpath必须要下载lxml模块: lxml官方文档 :https://lxml.de/index.html pip install lxml 然后导入: from lxml import etree 使用: selector = etree.HTML(html_str) selector.xpath("xpath语法") 1.2xpath语法 w3c xpath语法:http…

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Date : 2017-08-30 20:38:23 # @Author : EnderZhou (zptxwd@gmail.com) # @Link : http://www.cnblogs.com/enderzhou/ # @Version : $Id$ import requests import re def open_url(url): req = requests.get(url=url…

解压.docx文件实现提取图片 前言 .docx文件其实也就是一个压缩文件,当我们将一个.docx文件直接解压后可以看到如下目录 其中我们要找的图片就在word/media目录内,如图 所以,要提取word内的图片就需要将.docx文件解压,再从media文件内取得图片,然后将解压后的文件删除 代码实现 import os import shutil import zipfile def get_pictures(word_path, result_path): """ 获取…

在线Markdown表格转换器 markdown表格转换器,蛮好用的.偶然发现的开源工具,推荐一波. 这是目标链接:https://docs.locust.io/en/stable/configuration.html 这是待提取table项 尝试1,直接通过html导入的功能 导入方法   import→URL→贴入复制的url→点击parse→往下拖动点击import data→把结果栏生成的结果copy到markdown 具体可见下面的GIF图嘞 得到结果如下 尝试2:通过源码导入 导入方…

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Date : 2017-08-30 20:38:23 # @Author : EnderZhou (zptxwd@gmail.com) # @Link : http://www.cnblogs.com/enderzhou/ # @Version : $Id$ import requests from bs4 import BeautifulSoup as bs # 这种爬取网页内容中的列表的方式复用…

转载请注明出处 http://www.cnblogs.com/pengwang52/. >>> p= re.compile(r'\<div class="comment-content comment-content_new"\>([^x00-xff]*)\<\/div\>') >>> text='<div class="comment-content comment-content_new">…

import re import urllib url="http://www.itokit.com" s=urllib.urlopen(url).read() ss=s.replace(" ","") urls=re.findall(r"<a.*?href=.*?<\/a>",ss,re.I) for i in urls: print i else: print 'this is over' 挺好用的,记录…

import pandas # 创建表格格式# ad = pandas.DataFrame({"a": range(1, 10), "b": range(10, 20)})ad = pandas.DataFrame({"name":['lala', 'bbb', 'ccc'], "成绩":[10, 20, 30]}) # 导入read = pandas.read_excel("C:\\xxx\\xx\\xx.xls&…

1.下载 redis 模块 pip install redis 2.redis 数据库两种连接方式 简单连接 decode_responses=True,写入和读取的键值对中的 value 为 str 类型,不加这个参数写入的则为字节类型 import redis re = redis.Redis(host=",decode_responses=True) # host 是 redis 主机,需要 redis 服务端和客户端都启动 redis 默认端口是 6379,password 是 redi…

1.源代码如下 from urllib.request import urlopen,Request import urllib.request import re from bs4 import BeautifulSoup from distutils.filelist import findall url ='http://movie.douban.com/top250?format=text' headers = {'user-agent': 'Mozilla/5.0 (Windows N…