一.Selenium 简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转.输入.点击.下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 安装 1.  下载驱动 http://npm.taobao.org/mirrors/chromedriver/2.42/ if window系统: windows只有32位的! 下载chromdriver.e…

一.hashlib文件一致性校验 为何要进行文件一致性校验? 为了确保你得到的文件是正确的版本,而没有被注入病毒和木马程序.例如我们经常在网上下载软件,而这些软件已经被注入了一些广告和病毒等,如果不进行文件与原始发布商的一致性校验的话,可能会给我们带来一定的损失. 文件一致性校验原理要进行文件的一致性校验,我们不可能像文本文件比较那样,将两个文件放到一起对比,因为很多的时候文件很大.目前最理想的办法就是,是通过加密算法,对文件生成对应的值,通过生成的值与发布商提供的值比较来确认两个文件是否一致.…

一.列表推导式 #1.示例 数据量小 egg_list=[] for i in range(10): egg_list.append('鸡蛋%s' %i) egg_list=['鸡蛋%s' %i for i in range(10)] #2.优点:方便,改变了编程习惯, 二. 生成器表达式 #1.把列表推导式的[]换成()就是生成器表达式 #2.示例:生一筐鸡蛋变成给你一只老母鸡,用的时候就下蛋,这也是生成器的特性 chicken=('鸡蛋%s' %i for i in range(5)) pr…

python全栈开发目录 Linux系列 python基础 前端~HTML~CSS~JavaScript~JQuery~Vue web框架们~Django~Flask~Tornado 数据库们~MySQL~MongoDB~Redis 常用算法和数据结构 数据分析系列~ipython~NumPy~pandas~Matplotlib 爬虫系列 接口和依赖注入 领域驱动模型 零碎 ..... 源码解析 flask _local flask上下文 flask session WTForms SQLAlc…

python全栈开发中级班全程笔记 第三章:员工信息增删改查作业代码 作业要求: 员工增删改查表用代码实现一个简单的员工信息增删改查表需求: 1.支持模糊查询,(1.find name ,age form staff_table where age > 22(查找 staff_fable (文件)内所有 age > 22 的name 和 age全部打印)(2.find * from staff_table where dept = "IT"(查找所有部门是 IT的所有列打印…

一.爬虫系列之第1章-requests模块 爬虫简介 概述 近年来,随着网络应用的逐渐扩展和深入,如何高效的获取网上数据成为了无数公司和个人的追求,在大数据时代,谁掌握了更多的数据,谁就可以获得更高的利益,而网络爬虫是其中最为常用的一种从网上爬取数据的手段. 网络爬虫,即Web Spider,是一个很形象的名字.如果把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛.网络蜘蛛是通过网页的链接地址来寻找网页的.从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链…

Python全栈开发[面向对象进阶] 本节内容: isinstance(obj,cls)和issubclass(sub,super) 反射 __setattr__,__delattr__,__getattr__ 二次加工标准类型(包装) __getattribute__ 描述符(__get__,__set__,__delete__) 再看property __setitem__,__getitem,__delitem__ __str__,__repr__,__format__ __slots__…

python 全栈开发之路 day1   本节内容 计算机发展介绍 计算机硬件组成 计算机基本原理 计算机 计算机(computer)俗称电脑,是一种用于高速计算的电子计算机器,可以进行数值计算,又可以进行逻辑计算,还具有存储记忆功能.是能够按照程序运行,自动.高速处理海量数据的现代化智能电子设备.由硬件系统和软件系统所组成,没有安装任何软件的计算机称为裸机. 计算机发明者约翰·冯·诺依曼.计算机是20世纪最先进的科学技术发明之一,对人类的生产活动和社会活动产生了极其重要的影响,并以强大的生命力…

为什么要写这个系列博客呢? 说来讽刺,91年生人的我,同龄人大多有一份事业,或者有一个家庭了.而我,念了次985大学,年少轻狂,在大学期间迷信创业,觉得大学里的许多课程如同吃翔一样学了几乎一辈子都用不上(尽管我至今还这样觉得),耽误了学业,再加上不靠谱的创业,让我4年的本科,念了7年,今年6月才算拿了毕业证和学位证.日复一日的连续听了三个月宣讲会,投了39份简历,除了无底薪的补课班老师和无底薪的销售岗,没有一家企业给我哪怕一次面试的机会,也许还是我还不够绝望,我回到了老家,在网上下载了一套Pyt…

Python全栈开发/人工智能公开课_腾讯课堂 https://ke.qq.com/course/190378 https://github.com/haoran119/ke.qq.com.python/tree/master/src/python-fullstack Python — 爬虫.数据分析 python — 数据分析之旅,Numpy 数据获取 公开数据集(Mnist),爬虫 数据存储 数据库SQL 数据预处理 噪声,重复,缺失,空值,异常值,分组,合并,随机取样(pandas) 数据…