笔记链接   https://book.apeland.cn/details/54/ 学习视频   https://www.apeland.cn/python…

笔记链接 https://book.apeland.cn/details/322/ 学习视频 https://www.apeland.cn/python…

requests模块 - urllib模块 - requests模块 requests模块:python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高.作用:模拟浏览器发送请求. 如何使用:(requests模块的编码流程) - 指定url - 发起请求 - 获取响应数据 - 持久化存储 环境的安装: pip install requests 实战编码: - 需求:爬取搜狗首页页面的数据 # coding=gbk #Created on 2019/7/7 #@author: X…

爬虫基础简介 前戏: 1.你是否在夜深人静的时候,想看一些让你更睡不着的图片 2.你是否在考试或者面试前夕,想看一些具有针对性的题目和面试题 3.你是否想在杂乱的网络世界中获取你想要的数据 什么是爬虫:       - 通过编写程序模拟浏览器上网,然后让其去互联网上抓取数据的过程. 爬虫的价值: - 实际应用   - 就业 爬虫究竟是合法还是违法?   - 在法律中是不备禁止 - 具有违法风险 - 善意爬虫 恶意爬虫 爬虫带来的风险可以体现在如下2方面:   - 爬虫干扰了被访问网站的正常运营…

谈起软件开发一定会想到用什么技术.采用什么框架,然而在盛行的敏捷之下,人的问题逐渐凸显出来.不少企业请人来培训敏捷开发技术,却发现并不能真正运用起来,其中一个主要原因就是大家还没有很好的学习能力.没有学习,就不会有合格的ScrumMaster,没有懂得敏捷本质的成员,没有Being敏捷的思想.其实学习敏捷开发本身就是一种学习,敏捷实践中也都是学习,学习无处不在.学习那么重要,但又有多少人不仅是爱学习,而且有学习方法呢?闲话不多说了,继续和大家侃侃IT人的自我导向型学习,这可是敏捷个人体系三个组件…

看到大家对我的文章赞了不少,看来大家还比较喜欢看.园子里的一些朋友和我说:”终于又看到你要在园子里发原创文章了.几年前就受益匪浅,经过几年的成长分享来的东西肯定也是精品.“ 感谢大家对我的信任,如果你手机以前就喜欢看我的博客的,可以在文章后面回复一下,我看看有多少是老顾客.这两年没有写太多新东西,当然不是说我没有在写东西,写的其实也不少,而且自认为也是精品.只是这两年家里事多,压力大,给IT朋友们写的少了,这也让我技术也给荒废了,今天在路上我还想着是不是要把OEA来个再版,支持B/S和Mobil…

孤荷凌寒自学python第八十二天学习爬取图片2 (完整学习过程屏幕记录视频地址在文末) 今天在昨天基本尝试成功的基础上,继续完善了文字和图片的同时爬取并存放在word文档中. 一.我准备爬取一个有文字也有图片的博客页面 https://www.cnblogs.com/forever-snow/p/8506746.html 二.具体代码 ``` import requests from bs4 import BeautifulSoup import re import datetime impo…

孤荷凌寒自学python第六十八天学习并实践beautifulsoup模块1 (完整学习过程屏幕记录视频地址在文末) 感觉用requests获取到网页的html源代码后,更重要的工作其实是分析得到的内容,因此这时候大名鼎鼎的BeautifulSoup模块就可以大展身手了. 一.今天已了解到的BeautifulSoup模块中的一些用法小结: 1. BeautifulSoup对象.prettify()  #对html源代码 进行了美化. 2. BeautifulSoup.p #这种方法将返回html…

孤荷凌寒自学python第六十二天学习mongoDB的基本操作并进行简单封装1 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第八天. 今天开始学习mongoDB的简单操作,并对一些可能反复经常使用的操作进行简单的封装. 今天成功了解并实测完成了向mongoDB数据库中添加记录的操作,详细学习过程见屏幕录屏学习过程. 测试代码如下: [ceshi.py] ``` from pymongo import MongoClient import datetime import…

本文更新版本已挪至  http://www.zhoujingen.cn/blog/2484.html ----------------------------- 写这一个系列之前,我定位是与高效学习有关,不写生活但是会涉及一点点生活,第一版不要求整个系列有严密逻辑但是每篇文章一定保持高内聚结构.总体方向确定,但是真的在我现在提笔开始写的时候,我却停了一下.学习这个话题太多了,之前也写过一些相关的文字,加上后面新的经验和感悟,我该从哪和大家说起呢? 前一阵子我在思考学习的时候,想起之前<个体执行力…