1 pycharm的下载安装 下载地址:https://www.jetbrains.com/pycharm/download/#section=windows ....安装没啥好说的 建议购买正版,其它途径http://idea.lanyus.com/  (注册码有效期为2017年10月15日至2018年10月14日) 2 pycharm的首次使用 第一步:创建一个新项目. 第二步:输入项目路径.项目名,选择python解释器. 在Location中填写项目路径.项目名; 在Base inter…

函数的定义: 1,def 函数名(参数1,参数2......): "注释:函数的作用和参数,增加可读性", 2,函数体 3,返回值 最简单的函数: def func(): print('hello world') 函数名后的括号内的参数的顺序是:位置参数,*args,默认参数,**kwargs 函数的调用:函数名() def func(): print('hello world') func() 函数名的本质:函数名相当于变量名指定内存内的一个位置,可以做参数,返回值 函数的参数: 实…

Python进阶(三)----函数名,作用域,名称空间,f-string,可迭代对象,迭代器 一丶关键字:global,nonlocal global 声明全局变量: ​ 1. 可以在局部作用域声明一个全局变量 ​ 2. 可以修改全局变量 # 解释器认为: 如果你在局部作用域对一个变量进行修改,局部作用域已经定义了好这个变量 # 异常: # UnboundLocalError: local variable 'count' referenced before assignment ####相当于…

前言 王国维在<人间词话>中将读书分为了三种境界:"古今之成大事业.大学问者,必经过三种之境界:'昨夜西风凋碧树,独上高楼,望尽天涯路'.此第一境也.'衣带渐宽终不悔,为伊消得人憔悴.'此第二境也.'众里寻他千百度,蓦然回首,那人却在灯火阑珊处'.此第三境也.我从入门Python到现在也没有多少时间,所以写如此大的一个题目必定会引发各种批判,当然我没有想造一个大新闻,只是想根据自己的学习历程做一个简单的总结,同时将这三个阶段对应的一些好的书籍简单介绍介绍. 正文 Python的用途十…

PYTHON之路 七.基本的if判断 最简单的流程处理: if ...else If简单练习: #!/usr/bin/env  python # -*-coding:utf-8 -*- #if 基本表达式 #用户登录验证 #提示输入用户名和密码 #验证用户名和密码 #如果错误,则输出用户名或密码错误: #如果成功,则输出欢迎,XXX!   user = 'zhang' password = '123.com' username = input("username:") password…

感谢 感谢购买第二版的同学,谢谢你们对本人劳动成果的支持!也正是你们时常问我还出不出第三版了,也是你们的鼓励,让我继续学习整理本文档. 感谢乙醇前辈,第二版的文档是放在他的淘宝网站上卖的,感谢他的帮忙. 最最感谢的还是兔子( Mark Rabbit ),好吧!他已经极力抗议叫兔子了,哈哈!本文档中相当多的知识点是他提供的,不过他只提供思路,不提供解决问题的具体代码:我需要把他的话截图下来,反复理解,然后找具体的解决代码,因此,我python的语言能力提高了不少. 下面要简单说说本文档的内容: <…

 一.collections系列: collections其实是python的标准库,也就是python的一个内置模块,因此使用之前导入一下collections模块即可,collections在python原有的数据类型str(字符串), int(数值), list(列表) tuple(元组), dict(字典)的基础之上增加一些其他的数据类型即方法,具体如下: 1.Counter(dict):计数器,扩展的字典的方法,对指定数据的字串做统计出现的次数,结果是一个元组,如: import co…

Python第三天 序列  数据类型  数值  字符串  列表  元组  字典 数据类型数值字符串列表元组字典 序列序列:字符串.列表.元组序列的两个主要特点是索引操作符和切片操作符- 索引操作符让我们可以从序列中抓取一个特定项目- 切片操作符让我们能够获取序列的一个切片,即一部分序列 序列的基本操作1. len(): 求序列的长度2. +: 连接2个序列3. *: 重复序列元素4. in: 判断元素是否在序列中5. max(): 返回最大值6. min(): 返回最小值7. cmp(x, y)…

#cnblogs_post_body h2 { background: linear-gradient(to bottom, #18c0ff 0%,#0c7eff 100%); color: #fff; padding: 3px; margin: 10px 0px; font-family: "微软雅黑", "宋体", "黑体", Arial } Python第三章__函数式编程.递归.闭包 欢迎加入Linux_Python学习群  群号:478…

初学Python(三)——字典 初学Python,主要整理一些学习到的知识点,这次是字典. #-*- coding:utf-8 -*- d = {1:"name",2:"age",3:"sex"} #d[1]中的1代表的不是下标值,而是key值 print d[1] #添加值 d[4]="addres" print d #更新值 d[4]="address" print d #当key值不存在时,这个时候用…

Python第三天 序列  5种数据类型  数值  字符串  列表  元组  字典 各种数据类型的的xx重写xx表达式 目录 Pycharm使用技巧(转载) Python第一天  安装  shell  文件 Python第二天  变量  运算符与表达式  input()与raw_input()区别  字符编码  python转义符  字符串格式化 Python第三天 序列  5种数据类型  数值  字符串  列表  元组  字典 Python第四天   流程控制   if else条件判断  …

python selenium 三种等待方式详解   引言: 当你觉得你的定位没有问题,但是却直接报了元素不可见,那你就可以考虑是不是因为程序运行太快或者页面加载太慢造成了元素不可见,那就必须要加等待了,等待元素可见再继续运行程序: 正文: 1.强制等待(sleep) 设置等待最简单的方法就是强制等待,其实就是time.sleep()方法,不管它什么情况,让程序暂停运行一定时间,时间过后继续运行:缺点时不智能,设置的时间太短,元素还没有加载出来,那照样会报错:设置的时间太长,则会浪费时间,不要小…

需求:遍历某个路径下面的所有内容(文件和目录,多层级的) import os #自定义函数(递归函数):遍历目录层级(多级) def printDirs(path): dirs=os.listdir(path) #循环处理列表 for d in dirs: #组装d得到其绝对路径 fileAbsPath=os.path.join(path,d) #判断是目录还是文件 #如果是文件直接打印,如果是目录再次调用此函数 if os.path.isfile((fileAbsPath)): print(d…

今天刚学了python的三种格式化输出,以前没接触过这么有趣的输出方式,现在来分享一下. #!/user/bin/env python#coding:utf-8#三种格式化输出 #第一种格式化输出name=input("name:")age=input("age:")job=input("job:")salary=input("salary:") info1='''-----------info1 of '''+name+''…

Python进阶(三十五)-Fiddler命令行和HTTP断点调试 一． Fiddler内置命令   上一节(使用Fiddler进行抓包分析)中,介绍到,在web session(与我们通常所说的session不是同一个概念,这里的每条HTTP请求都称为一个session).界面中能够看到Fiddler抓取的全部HTTP请求.而为了更加方便的管理全部的session, Fiddler提供了一系列内置的函数用于筛选和操作这些session(习惯命令行操作Linux的童鞋应该能够感受到这会有多么方便…

第三百七十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目 scrapyd模块是专门用于部署scrapy项目的,可以部署和管理scrapy项目 下载地址:https://github.com/scrapy/scrapyd 建议安装 pip3 install scrapyd 首先安装scrapyd模块,安装后在Python的安装目录下的Scripts文件夹里会生成scrapyd.exe启动文件,如果这个文件存在说明安装成功,我们就可以执行命令了 启动sc…

第三百六十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)基本的索引和文档CRUD操作.增.删.改.查 elasticsearch(搜索引擎)基本的索引和文档CRUD操作 也就是基本的索引和文档.增.删.改.查.操作 注意:以下操作都是在kibana里操作的 elasticsearch(搜索引擎)都是基于http方法来操作的 GET 请求指定的页面信息,并且返回实体主体 POST 向指定资源提交数据进行处理请求,数据被包含在请求体中,POST请求可…

第三百五十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—chrome谷歌浏览器无界面运行.scrapy-splash. splinter 1.chrome谷歌浏览器无界面运行 chrome谷歌浏览器无界面运行,主要运行在Linux系统,windows系统下不支持 chrome谷歌浏览器无界面运行需要一个模块,pyvirtualdisplay模块 需要先安装pyvirtualdisplay模块 Display(visible=0, size=(800, 600))设置浏览器,visib…

第三百四十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP 设置代理ip只需要,自定义一个中间件,重写process_request方法, request.meta['proxy'] = "http://185.82.203.146:1080"   设置代理IP 中间件,注意将中间件注册到配置文件里去 from adc.daili_ip.sh_yong_ip.sh_yong_ip import sui_ji_hq_ip from fake_…

第三百四十七节,Python分布式爬虫打造搜索引擎Scrapy精讲—通过downloadmiddleware随机更换user-agent浏览器用户代理 downloadmiddleware介绍中间件是一个框架,可以连接到请求/响应处理中.这是一种很轻的.低层次的系统,可以改变Scrapy的请求和回应.也就是在Requests请求和Response响应之间的中间件,可以全局的修改Requests请求和Response响应 UserAgentMiddleware()方法,默认中间件 源码里downl…

第三百四十三节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy模拟登陆和知乎倒立文字验证码识别 第一步.首先下载,大神者也的倒立文字验证码识别程序 下载地址:https://github.com/muchrooms/zheye 注意:此程序依赖以下模块包 Keras==2.0.1 Pillow==3.4.2 jupyter==1.0.0 matplotlib==1.5.3 numpy==1.12.1 scikit-learn==0.18.1 tensorflow==1.0.1…

第三百四十一节,Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器 编写spiders爬虫文件循环抓取内容 Request()方法,将指定的url地址添加到下载器下载页面,两个必须参数, 参数: url='url' callback=页面处理函数 使用时需要yield Request() parse.urljoin()方法,是urllib库下的方法,是自动url拼接,如果第二个参数的url地址是…

第三百四十节,Python分布式爬虫打造搜索引擎Scrapy精讲—css选择器 css选择器 1. 2. 3.  ::attr()获取元素属性,css选择器 ::text获取标签文本 举例: extract_first('')获取过滤后的数据,返回字符串,有一个默认参数,也就是如果没有数据默认是什么,一般我们设置为空字符串 extract()获取过滤后的数据,返回字符串列表 # -*- coding: utf-8 -*- import scrapy class PachSpider(scrapy…

第三百三十九节,Python分布式爬虫打造搜索引擎Scrapy精讲—Scrapy启动文件的配置—xpath表达式 我们自定义一个main.py来作为启动文件 main.py #!/usr/bin/env python # -*- coding:utf8 -*- from scrapy.cmdline import execute #导入执行scrapy命令方法 import sys import os sys.path.append(os.path.join(os.getcwd())) #给Py…

一.python的三个函数: 1.eval函数: 之前已经讲过了这个函数,该函数也类似于php的eval,例如下边这个例子 eval("os.system('id')") 但是有个问题,在eval中没办法执行赋值操作. 2.exec函数: 可以执行赋值操作,其他方便也比较类似于eval函数 exec("os.system('id')") 给一个赋值操作的例子: exec("a.__code__=b.__code__") 3.compile函数:…

1 解释器 解释器(英语:Interpreter),又译为直译器,是一种电脑程序,能够把高级编程语言一行一行直接转译运行.解释器不会一次把整个程序转译出来,只像一位"中间人",每次运行程序时都要先转成另一种语言再作运行,因此解释器的程序运行速度比较缓慢.它每转译一行程序叙述就立刻运行,然后再转译下一行,再运行,如此不停地进行下去. Python.TCL和各种Shell程序一般而言是使用解释器执行的.微软公司的Qbasic语言也是解释方式,它不能生成可执行程序(但Quick Basic和…

孤荷凌寒自学python第三十九天python的线程锁Lock (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 当多个线程同时操作一个文件等需要同时操作某一对象的情况发生时,很有可能发生冲突,因此在这种情况下就只能允许实时只有一个线程在操作这一对象,而其它线程在队列中等待,按排队顺序依次进行,这是我对[线程同步]的初步理解,因此[锁]这个对象就是用于实时只允许一个线程操作多线程大家都要操作的对象而存在的,当一个线程使用开启[锁]对象后到解锁[锁]对象的这段时间,只就允许此线程(是指开启[…

 孤荷凌寒自学python第三十八天初识python的线程控制 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 一.线程 在操作系统中存在着很多的可执行的应用程序,每个应用程序启动后,就可以看着是一个进程,当打开WINDOWS任务管理器时,在任务管理器的进程选项卡中列出的就是一个一个的进程,基本上每个应用程序都对应着至少一个进程. 在同一进程中,也许同时在做着不止一件事情,比如在向程序界面上显示信息和接受信息的同时,程序也在和远端服务器通信读取数据,则这儿至少有两个线程运行在同一个进程中…

孤荷凌寒自学python第三十七天python的文件与内存变量之间的序列化与反序列化 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 一.什么是序列化与反序列化 序列化是指将内存中的数据进行指定规则的格式梳理,使之方便按一定格式保存到文件中.我的理解就是数据在文件中的保存的结构. 反序列化是指将磁盘中文件的保存的结构读取出来,然后转换为内存中的数据,并且可以在屏幕上输出为人可阅读的格式内容. 二.pickle模块 pickle模块是Python 内置的序列化与反序列化类,保存到文件时,是…

 孤荷凌寒自学python第三十五天python的文件操作之针对文件操作的os模块的相关内容 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 一.打开文件后,要务必记得关闭,所以一般的写法应当放在异常捕捉环境中. try: 此处放打开文件的语句块 f= open(文件,‘打开模式’,encoding=’文本编码’) 执行打开文件后的操作语句块 except ……: …… else: 这儿可以继续放其它要执行的正常语句块 finally: 这儿必须有关闭文件的语句.f.close() 但我…