Python爬虫Urllib库的高级用法 设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如某网站,点登录之后,我们会发现登陆之后界面都变化 了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求HTML…

一.类与类的关系 关注公众号"轻松学编程"了解更多. is-a 继承 继承是指一个类(称为子类.子接口)继承另外一个类(称为父类.父接口)的功能, 并可以增加它自己的新功能的能力. has-a 关联/聚合/合成 关联体现的是两个类之间语义级别的一种强依赖关系,比如我和我的朋友, 这种关系比依赖更强.不存在依赖关系的偶然性.关系也不是临时性的, 一般是长期性的,而且双方的关系一般是平等的.关联可以是单向.双向的. 表现在代码层面,为被关联类B以类的属性形式出现在关联类A中, 也可能是关联…

1 字典 转 字符 定义一个字典:dict = {'name': 'python', 'age': 7}字典转字符 可以使用str强制转换 如: str(dict) 此时dict的类型就是字符型了 2 字符转字典: 例如:我们的数据在文件里是以字典格式保存的    但是我们都文件里读取数据类型都是字符类型的 这时候如果想使用字典的方法去操作的话 肯定不行  这时候需要使用eval函数 将数据转为字典类型 输出为: 3 字符转列表 如果一个字符串定义为: s = 'ad,sad,asdasd,we…

今天早上在公交上浏览博客的时候,发现了python里面的一个小彩蛋--zen of python 一首python之歌 我们来看一看... ​ 是不是很简单,在python shell 里 输入 import this 就出来啦,有木有很神奇!!! 全诗如下... The Zen of Python, by Tim Peters Beautiful is better than ugly.Explicit is better than implicit.Simple is better than…

目录 双下划线方法(__) 元类简介 产生类的两种表现形式 元类的基本使用 元类进阶操作 __new__方法 双下划线方法(__) 面向对象中的双下方法也有一些人称之为是魔法方法,有些双下方法不需要刻意调用,到达某个条件会自动触发,就比如我们在对象实例化中学的__init__方法. __str__:对象被执行打印(print.前端展示)操作的时候自动触发,该方法必须返回字符串类型的数据. 例子:原本应该是打印对象的,但定义了该方法后,打印的值变成了该方法的返回值. # 没有__str__的情况:…

元类(metaclass)及动态属性(dynamic attribute)都是很强大的Python特性,然后他们也可能导致及其古怪.及其突然的行为.本节讲解这些机制的常见用法,以确保各位程序员写出来的代码符合最小惊讶原则(rule of least surprise). 第二十九条:用纯属性取代get和set方法 第三十条: 考虑用@property来代替属性重构 第三十一条:用描述符来改写需要复用的@property方法 第三十二条:用__getattr__.__getattribute__和…

补充内置函数 isinstance(obj,Foo)   # 判断obj是不是foo的实例 issubclass()      # 判断一个类是不是另一个类的子类 反射 什么是反射? 通过字符串来操作类或者对象的属性 怎么用? hasattr(adj,’xxx’) 判断adj有没有’xxx’属性 getattr(adj,’xxx’,None) adj有’xxx’就返回adj.xxx,没有则返回None,若不指定第三个                                 参数,没有则会…

目录 Python面向对象06 /元类type.反射.函数与类的区别.特殊的双下方法 1. 元类type 2. 反射 3. 函数与类的区别 4. 特殊的双下方法 1. 元类type type:获取对象从属的类 Python中一切皆对象,类在某种意义上也是一个对象 Python中自己定义的类,以及大部分内置类,都是由type元类(构建类)实例化得来的 # type 获取对象从属于的类 print(type(A)) print(type(str)) print(type(dict)) type与ob…

content: 上: 1.property动态属性 2.__getattr__和__setattr__的区别和在属性查找中的作用 3.属性描述符 和属性查找过程 4.__new__和__init__的区别 下: 5.什么是元类和自定义元类 6.用元类实现orm ============================= 一.property动态属性 1.什么是property? 在面向对象编程中,我们一般把名词性的东西映射成属性,动词性的东西映射成方法.在python中他们对应的分别是属性se…

frozenset:不可变集合,无序,不重复 dict上的特性: 1. dict的key或者set的值 都必须是可以hash的(不可变对象 都是可hash的, str, fronzenset, tuple,自己实现的类 __hash__)2. dict的内存花销大,但是查询速度快, 自定义的对象 或者python内部的对象都是用dict包装的3. dict的存储顺序和元素添加顺序有关4. 添加数据有可能改变已有数据的顺序 is和==的区别:is是用来判断两个变量引用的对象是否为同一个,==用来判…

dict(dictionary)是一系列无序对象的集合,由键-值对构成,通过读取键来取得对应的值,具有可变,无序,异构,可嵌套的属性. dict初始化1.直接采用字典格式 2.利用dict(),[注]:键没有加'' 3.利用tuple(元组) 4.使用dict.fromkeys(),返回字典,该方法有两个参数,参数1为键列表,参数2为这些键的初始值,默认为空 dict添加.删除.修改 1.键如果不存在则添加键-值,如果存在则修改键-值 2.删除指定的键-值对 3.删除指定的键-值,返回删除键的值…

一,字符串和列表的转换 1.str中的 join 方法: 把列表转换成字符串 # 将列表转换成字符串. 每个元素之间用_连接 s = '**'.join(['李启政',' 郑强' , '孙福来']) print(s) #s = ["李启政"**"郑强"**"孙福来"] ss = "李启政**郑强**孙福来" ss.split("**") print(ss) 字符串转化成列表: split() 把列表转化成字…

1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求HTML文件,然后加载JS,CSS 等等,经过多次…

pandas.DataFrame.to_json返回的是JSON字符串,不是字典. 可以使用to_dict进行字典转换. 使用orient指定方向. >>> df col1 col2 0 1 3 1 2 4 >>> [df.to_dict(orient='index')] [{0: {'col1': 1, 'col2': 3}, 1: {'col1': 2, 'col2': 4}}] >>> df.to_dict(orient='records') […

最近学习做的习题,直接复制过来 缩进就乱掉了,所以直接以图片方式上传,题目和答案一起…

一. 基于requests模块的cookie操作 - cookie概念: 当用户通过浏览器访问一个域名的时候,访问的web服务器会给客户端发送数据,以保持web服务器与客户端之间的状态保持,这些数据就是cookie. - cookie作用:我们在浏览器中,经常涉及到数据交换.Cookie是由HTTP服务器设置的,保存在浏览器中,但HTTP协议是一种无状态协议,在数据交换完毕后,服务器端和客户端的链接就会关闭,每次交换数据都需要建立新的链接.,用cookie来记住我们的信息,就很方便,不用每次都输…

'''1. 什么是迭代器 什么是迭代:迭代就是一个重复的过程,但是每一次重复都是基于上一次的结果而进行的 单纯的重复不是迭代: while True: print(1) 迭代的过程 l=['a','b','c'] i=0 while i < len(l): print(l[i]) i+=1 迭代器:迭代取值的工具 2. 为何要用迭代器 迭代器的优点: 1. 提供了一种可以不依赖索引的迭代取值方式 3. 如何用迭代器'''# 可迭代的对象:但凡内置有__iter__方法的对象就是可迭代的对象,例如…

一:知识储备 exec exec:三个参数 参数一:字符串形式的命令 参数二:全局作用域(字典形式),如果不指定,默认为globals() 参数三:局部作用域(字典形式),如果不指定,默认为locals() exec的应用: #可以把exec命令的执行当成是一个函数的执行,会将执行期间产生的名字存放于局部名称空间中 g={ 'x':1, 'y':2 } l={} exec(''' global x,z x=100 z=200 m=300 ''',g,l) print(g) #{'x': 100,…

Python里的对象.类型和元类的关系很微妙也很有意思. 1989年圣诞节期间,上帝很无聊,于是创造了一个世界. 对象 在这个世界的运转有几条定律. 1.一切都是对象 对象(object)是这个世界的基本组成单位,所有的的事物都由对象构成. 什么是对象?不同的语言对对象的定义不尽相同.在Python的世界里,对象是数据的一种抽象表示.如果看了Python源码,事情就很好解释了,所有能通过PyObject类型的指针访问的都是对象.整数.字符串.元组.列表.字典.函数.模块.包,栈等都是对象. 圣经…

add by zhj: 这是大stackoverflow上一位小白提出的问题,好吧,我承认我也是小白,元类这块我也是好多次想搞明白, 但终究因为太难懂而败下阵来.看了这篇文章明白了许多,再加下啄木鸟社区的 Python 类型和对象  .卧槽, 这简直就是珠联璧合,日月神剑啊,尼玛.终于理解了元类.元类就是创建类对象的类,建议用__metaclass__用于指定元类,它的好 处也就是可以要创建类之前和之后修改类的属性,创建后修改属性也可以在__init__中做,不过完全可以用__new__代替,在…

一.实例创建 在创建实例时,调用__new__方法和__init__方法,这两个方法在没有定义时,是自动调用了object来实现的.python3默认创建的类是继承了object. class A(object): def __init__(self, *args, **kwargs): self.name, self.age, self.gender = args[:3] def __new__(cls, *args, **kwargs): print("__new__ has called.…

元类有关知识点补充 #类的名称空间 类的名称空间不能用类似字典的方法修改,例如School类里面有name属性xxx,那么我用School.__dict__['name'] = 'yyy'就会报错"TypeError: 'mappingproxy' object does not support item assignment"原因是类的名称空间和对象的名称空间不一样,后者是一个`a plain dict`,就是普通的字典,而后者是一个`mappingproxy`,不可映射类型,是不含…

写在前面 之前在看廖雪峰python系列的教程时,对元类的章节一直头大,总在思考我到底适不适合学习python,咋这么难,尤其是ORM的部分,倍受打击:后来从0到1手撸了一套ORM,才稍微进阶了一点理解. 这个系列会从元类开始梳理,最后按廖老师的demo撸一个ORM,希望能对大家有所增益. 本文中提及的"模板",泛指"类(class)". 有误的地方恳请大神指正下. 先从普通类实例化的过程探究下 class Persion: def __init__(self, n…

1.内置参数     Built-in Functions     abs() dict() help() min() setattr() all() dir() hex() next() slice() any() divmod() id() object() sorted() ascii() enumerate() input() oct() staticmethod() bin() eval() int() open() str() bool() exec() isinstance() o…

1 模块初识 Python的强大之处在于他有非常丰富和强大的标准库和第三方库,几乎你想实现的任何功能都有相应的Python库支持,以后的课程中会深入讲解常用到的各种库,现在,我们先来象征性的学2个简单的. sys模块 import sys print(sys.argv) 输出结果 ['D:/python project/基础课程/Day2_2016-7-30/博客测试专用.py']- 打印出这个Python文件的路径 os模块 import os os.system("df -h")…

一.列表: 列表的语法,以中括号开通和结尾,元素以逗号隔开.例如:name = [] 列表是以下标取值,第一个元素下标是0,第二个元素下标是1,最后一个元素下标是-1.   1.增加 #name = ["zhangsan","lisi","wanger","liwu"]#name[1] = "wang"#在列表name的下标为1的位置增加一个元素"wang",当然这个下标原来的元素也就没…

目录 python学习第七讲,python中的数据类型,列表,元祖,字典,之元祖使用与介绍 一丶元祖 1.元祖简介 2.元祖变量的定义 3.元祖变量的常用操作. 4.元祖的遍历 5.元祖的应用场景 python学习第七讲,python中的数据类型,列表,元祖,字典,之元祖使用与介绍 一丶元祖 1.元祖简介 元祖跟列表类似.只不过是有区别的. 如下: tuple(元祖英文) 跟列表类似, 元素不能修改 用于存储 一串信息,数据 元祖使用 () 定义, 列表是使用 []定义 元祖的索引是从0开始 元…

[ 列表] 列表(list)是Python以及其他语言中最常用到的数据结构之一.Python使用使用中括号 [ ] 来解析列表. 列表是可变的(mutable)——即:可以改变列表的内容. 相关操作: 1 查(［］) names_class2=['张三','李四','王五','赵六'] # print(names_class2[2]) # print(names_class2[0:3]) # print(names_class2[0:7]) # print(names_class2[-1]) #…

目录 python学习第八讲,python中的数据类型,列表,元祖,字典,之字典使用与介绍.md 一丶字典 1.字典的定义 2.字典的使用. 3.字典的常用方法. python学习第八讲,python中的数据类型,列表,元祖,字典,之字典使用与介绍.md 一丶字典 1.字典的定义 dictionary(字典) 是 除列表以外 Python 之中 最灵活 的数据类型 字典同样可以用来 存储多个数据 通常用于存储 描述一个 物体 的相关信息 和列表的区别 列表 是 有序 的对象集合 字典 是 无序…

目录 python学习第六讲,python中的数据类型,列表,元祖,字典,之列表使用与介绍. 二丶列表,其它语言称为数组 1.列表的定义,以及语法 2.列表的使用,以及常用方法. 3.列表的常用操作 4.关键字,函数,方法的区别. 5.列表的循环遍历 python学习第六讲,python中的数据类型,列表,元祖,字典,之列表使用与介绍. 二丶列表,其它语言称为数组 1.列表的定义,以及语法 List(列表) 是 Python 中使用 最频繁 的数据类型,在其他语言中通常叫做 数组 专门用于存储…