thr_msgs = soup.find_all('div',class_=re.compile('msg')) for i in thr_msgs: print(i) first = i.select('em:nth-of-type(1)') print(first) >>> <div class='\"msg\"'><em>佛山</em><em>1-3年</em><em>大专</em&g

python爬虫第一天 太久没折腾爬虫 又要重头开始了....感谢虫师大牛的文章. 接下来的是我的随笔 0x01 获取整个页面 我要爬的是百度贴吧的图,当然也是跟着虫师大牛的思路. 代码如下: #coding=utf-8 import urllib #urllib 模块读取web页面相当于接口 def gethtml(url): #定义一个gethtml函数得到页面 page = urllib.urlopen(url) html = page.read() return html html =

这只是记录一下自己学习爬虫的过程,可能少了些章法.我使用过的是Python3.x版本,IDE为Pycharm. 这里贴出代码集合,这一份代码也是以防自己以后忘记了什么,方便查阅. import requests #以不同的请求方式获取response r = requests.get('https://api.github.com/events') r = requests.post('http://httpbin.org/post', data = {'key':'value'}) r = r

打开网站.F12,开启devtools.发现有段代码阻止了我们调试 好的.接下来有几种解决方法 1- 绕过阻止调试方法 方法1(推荐) 鼠标放在debugger该行,左边数字行号那一列.右键选择不在永不在此处暂停 再次点击恢复,就跳出该debbug了 方法2 (抓包改返回) 我用的抓包软件是burp,burp默认不拦截js请求.需要更改成拦截js请求.更改教程 拦截对应代码的文件,将其中内容去掉,保证它发挥不出原本的功能就行 2- 反混淆包含数据的请求代码 经过上一步,我们可以正常调试代码了.这

爬取http://www.mzitu.com/all里面的图片 import urllib.request import re import os url = 'http://www.mzitu.com/all/' # 爬虫入口 req = urllib.request.Request(url) req.add_header('Referer','http://www.mzitu.com/all/') req.add_header('User-Agent','Mozilla/5.0 (Windo

import urllib2 response = urllib2.urlopen("http://www.baidu.com") print response.read() 简单的使用urllib2获取一个网页. 注意:在上面代码的第4行是:response.read(),response对象有一个read方法,可以返回获取到的网页内容. 如果不加read,结果是:

BeautifulSoup是一个可以从HTML或者XML文件中提取数据的python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. BeautfulSoup是python爬虫三大解析方法之一. 首先来看个例子: from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></h

半次元COS图爬取-写在前面 今天在浏览网站的时候,忽然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/ 打开之后,发现也没有什么有意思的内容,职业的敏感让我瞬间联想到了 cosplay ,这种网站必然会有这个的存在啊,于是乎,我准备好我的大爬虫了. 把上面的链接打开之后,被我发现了吧,就知道我的第八感不错滴.接下来就是找入口,一定要找到图片链接的入口才可以做下面的操作 这个页面不断往下拖拽,页面会一直加载,当时当你拖拽一会,就停下来了,就是这个时机 发现入口,在我实际

半次元COS图爬取-写在前面 今天在浏览网站的时候,忽然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/ 打开之后,发现也没有什么有意思的内容,职业的敏感让我瞬间联想到了 cosplay ,这种网站必然会有这个的存在啊,于是乎,我准备好我的大爬虫了. 把上面的链接打开之后,被我发现了吧,就知道我的第八感不错滴.接下来就是找入口,一定要找到图片链接的入口才可以做下面的操作 这个页面不断往下拖拽,页面会一直加载,当时当你拖拽一会,就停下来了,就是这个时机 发现入口,在我实际

孤荷凌寒自学python第七十三天开始写Python的第一个爬虫3 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像. ``` import requests from bs4 import BeautifulSoup import re import datetime import _mty import _mf import _mbs4 def msgbox(info,titletext='孤荷凌寒的DB模块

孤荷凌寒自学python第七十二天开始写Python的第一个爬虫2 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像. ``` import requests from bs4 import BeautifulSoup import re import _mty import _mf def msgbox(info,titletext='孤荷凌寒的DB模块对话框QQ578652607',style=0,isSho

孤荷凌寒自学python第八十天开始写Python的第一个爬虫10 (完整学习过程屏幕记录视频地址在文末) 原计划今天应当可以解决读取所有页的目录并转而取出所有新闻的功能,不过由于学习时间不够,只是进一步优化了自定义函数的写法. 一.优化并新增了几个操作word文档的函数 ``` #!/usr/bin/env python3 # -*- coding: utf-8 -*- import string import time import random from docx.enum.style i

孤荷凌寒自学python第七十九天开始写Python的第一个爬虫9 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 到今天终于完成了对docx模块针对word文档的段落对象的操作的学习,并通过函数封装,使得可以轻松一点直接向word文档中添加一个或多个段落文本并且设置段落的格式. 一.完成了批量添加word文档段落的函数 ``` def addPToDocx(f,strp,strfont='宋体',fontsize=14,fontcolor=RG

孤荷凌寒自学python第七十五天开始写Python的第一个爬虫5 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像. ``` import requests from bs4 import BeautifulSoup import re import datetime import pymongo import _mty import _mf import _mbs4 import _mmongo import

孤荷凌寒自学python第七十四天开始写Python的第一个爬虫4 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像. ``` import requests from bs4 import BeautifulSoup import re import datetime import pymongo import _mty import _mf import _mbs4 import _mmongo import

孤荷凌寒自学python第七十一天开始写Python的第一个爬虫 (完整学习过程屏幕记录视频地址在文末) 在了解了requests模块和BeautifulSoup模块后,今天开始真正写一个自己的爬虫代码出来,不过果然是新手上阵,这第一天的程序代码结果并没有完成. 直接上代码.详细过程见文末屏幕录像. import requests from bs4 import BeautifulSoup import re import _mty import _mf def msgbox(info,titl

前言 原创文章,转载引用务必注明链接.水平有限,如有疏漏,欢迎指正. 之前看阮一峰的博客文章,介绍到路飞学城爬虫课程限免,看了眼内容还不错,就兴冲冲报了名,99块钱满足以下条件会返还并送书送视频. 缴纳99元保证金即可参与,只要完成3次作业和参与直播,提交学习笔记,就可以退还保证金,还可获得<Python全栈开发实战>及内部教材书籍,视频课程.定制文化衫等作为奖励.另外,还会有1对1的导师逐行批改你的代码.讲师3次直播答疑,还有班主任组队小伙伴共同学习. 好像打了一次广告,麻烦luffy的工作

为大家介绍下Python爬虫库BeautifulSoup遍历文档树并对标签进行操作的详细方法与函数下面就是使用Python爬虫库BeautifulSoup对文档树进行遍历并对标签进行操作的实例,都是最基础的内容 需要代码的同学可以添加群624440745 不懂的问题有老司机解决里面还有最新Python教程项目可拿,,一起相互监督共同进步! html_doc = """<html><head><title>The Dormouse's sto

孤荷凌寒自学python第七十八天开始写Python的第一个爬虫8 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 到今天止基本完成了对docx模块针对word文档的段落对象的操作的学习,并通过函数封装,使得可以轻松一点直接向word文档中添加一个或多个段落文本并且设置段落的格式. 由于学习时间有限,今天的函数没有完全完成. 一.修改了之前自定义的批量添加word文档段落的函数 ``` def addPToDocx(f,strp,strfont=

孤荷凌寒自学python第七十七天开始写Python的第一个爬虫7 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 今天的学习仍然是在纯粹对docx模块的探索和研究. 一.对docx模块的学习笔记 (一)docx文档中的色彩控制 from docx.shared import RGBColor 此方法用于将三个数值(十进制,十六进制的三个数都行,三原色)生成色彩对象 用法是: RGBColor(红色值,绿色值,蓝色值) (二)为文字指定色彩,今天

孤荷凌寒自学python第七十六天开始写Python的第一个爬虫6 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 不过由于对python-docx模块的不熟悉,事实上今天的学习变成了纯粹对docx模块的探索和研究了. 一.对docx模块的学习笔记 (一)docx文档中的样式结构常量 from docx.enum.style import WD_STYLE_TYPE WD_STYLE_TYPE中包含了docx文档需要的所有样式 (包括段落.文字.