问题描述:爬取京东的网站,爬取一段时间后报错. 经过一番查询,发现该错误是因为如下: http的连接数超过最大限制,默认的情况下连接是Keep-alive的,所以这就导致了服务器保持了太多连接而不能再新建连接. ip被封 程序请求速度过快. 解决办法如下: 第一种方法 try:     page1 = requests.get(ap) except requests.exceptions.ConnectionError:     r.status_code = "Connection refus

错误如下: raise ConnectionError(e, request=request)requests.exceptions.ConnectionError: HTTPSConnectionPool(host='wwww.baidu.com', port=443): Max retries exceeded with url: / (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection obje

$ pip install redis>>> import redis>>> conn = redis.Redis()>>> conn.keys('*')Traceback (most recent call last): File "/home/henry/.local/lib/python3.5/site-packages/redis/connection.py", line 484, in connect sock = sel

---恢复内容开始--- 一.join方法 (1)开一个主线程 from threading import Thread,currentThread import time def walk(): print('%s is running'%currentThread().getName()) time.sleep(2) print('%s is done'%currentThread().getName()) if __name__ == '__main__': # for i in rang

一.join方法 (1)开一个主线程 from threading import Thread,currentThread import time def walk(): print('%s is running'%currentThread().getName()) time.sleep(2) print('%s is done'%currentThread().getName()) if __name__ == '__main__': # for i in range(10): p=Thre

最近在做爬虫的时候遇到了一个问题,在用requests的session方法保持cookie的时候发现requests不能保持手动构建的cookie.起初以为requests只能自动保持由服务器返回的set-cookie语句中的cookie.后来查了很多资料,才终于明白.原来requests只能保持 cookiejar 类型的cookie,而我们手动构建的cookie是dict类型的.所以要把dict转为 cookiejar类型,于是我又在网上查,在几乎打算放弃的时候终于找到了一个把dict转为c

# -*- encoding:utf-8 -*- # import pymysql # # conn = pymysql.connect(host="127.0.0.1", port=3306, user="py",passwd="", db="codeline",client_flag=5) # #conn2 = pymysql.connect(host="127.0.0.1", port=3306, u

Python操作 Redis.Memcache.RabbitMQ.SQLAlchemy redis介绍:redis是一个开源的,先进的KEY-VALUE存储,它通常被称为数据结构服务器,因为键可以包含string(字符串).hash(哈希).list(链表).set(集合)和zset(有序集合),这些数据类型都支持push/pop.add/remove及取交集和并集及更丰富的操作,redis支持各种不同方式的排序.为了保证效率,数据都是缓存在内存中,它也可以周期性的把更新的数据写入磁盘或者把修改

Python标准库中用来处理HTTP的模块是urllib2,不过其中的API太零碎了,requests是更简单更人性化的第三方库. 用pip下载: pip install requests 或者git: git clone git://github.com/kennethreitz/requests.git 发送请求: GET方法 >>> import requests >>> r = requests.get('https://api.github.com/event

#!/usr/env python #-*- coding: utf-8 -*- import urllib import urllib2 import random import requests import os,sys import MySQLdb from sgmllib import SGMLParser from BeautifulSoup import BeautifulSoup import re num=0 def main(): try: conn=MySQLdb.conn

早就想写一篇文章,整体介绍python的2个异步库,twisted和tornado.我们在开发python的tcpserver时候,通常只会用3个库,twisted.tornado和gevent,其中以twisted和tornado为代表的异步库的效率比较高,但对于开发者要求有点高.大家都在讨论异步效率高,那到底什么是异步,为何它的效率比较高呢?世界总是守恒的,异步效率高的同时牺牲了什么呢?我们今天就来讲讲python的异步库. 其实我们谈论的异步库都是基于计算机模型Event Loop,它不单

问题出现: Mongoengine是一个可以操作MongoDB数据库的对象-文档映射器(Object-Document Mapper).出于工作需要,最近在使用MongoDB+Django实现一个数据录入系统小网站的过程中,出现通过Mongoengine无法从 Python 调用 MongoDB,在connect()数据库一步的时候出现下面错误: >>> from mongoengine import connect >>> connect('healthmanager

一.Memcached Memcached是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负债.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度.Memcached基于一个存储键/值对的hashmap.其守护进程(daemon)是用C写的,但是客户端可以用户任何语言来编写,并通过memcached协议与守护进程通信. Memcached安装和基本使用 Memcached安装: root@wulaoer:~# rpm -qa|grep li

Reference: http://www.cnblogs.com/yueerwanwan0204/p/5589860.html 早就想写一篇文章,整体介绍python的2个异步库,twisted和tornado.我们在开发python的tcpserver时候,通常只会用3个库,twisted.tornado和gevent,其中以twisted和tornado为代表的异步库的效率比较高,但对于开发者要求有点高.大家都在讨论异步效率高,那到底什么是异步,为何它的效率比较高呢?世界总是守恒的,异步效

上一篇随笔我们学了全局解释器锁,前面也学了互斥锁,今天学习一些与锁相关的点,例如递归锁,信号量,Event,还会学习我们已经很熟悉的队列,不过这次的队列是作为一个模块出现的. 一.同步锁 1.join与互斥锁 线程抢的是GIL锁,GIL锁相当于执行权限,拿到执行权限后才能拿到互斥锁Lock,其他线程也可以抢到GIL,但如果发现Lock仍然没有被释放则阻塞,即便是拿到执行权限GIL也要立刻交出来 join是等待所有,即整体串行,而锁只是锁住修改共享数据的部分,即部分串行,要想保证数据安全的根本原理

写部署脚本时,难免涉及到一些远程执行命令或者传输文件. 之前一直使用sh库,调用sh.ssh远程执行一些命令,sh.scp传输文件,但是实际使用中还是比较麻烦的,光是模拟用户登陆这一点,还需要单独定义方法模拟输入. 感受一下: from sh import ssh PASS = 'xxxx' def ssh_interact(line, stdin): line = line.strip() print(line) if line.endswith('password:'): stdin.put

一,开启线程的两种方式 方法一: from threading import Thread import random,time def eat(name): print('%s is eating......'%name) time.sleep(random.randint(1,5)) print('%s had end....'%name) if __name__ == '__main__': t=Thread(target=eat,args=('xiaoming',))#创建线程 t.st

多线程: 多线程和多进程的不同是他们占用的资源不一样, 一个进程里边可以包含一个或多个进程, 进程的开销大,线程的开销小. 打个比方来说:创建一个进程,就是创建一个车间.创建一个线程,就是在一个车间创建一个流水线. 怎么去开启一个线程: 方法一(直接用默认的类): 开启线程的方式一:使用替换threading模块提供的Thread from threading import Thread from multiprocessing import Process def task(): print(

有很多开源自动化运维工具都很好用如ansible/salt stack等,完全不用重复造轮子.只不过,很多运维同学学习Python之后,苦于没小项目训练.本篇就演示用Python写一个批量操作主机的工具. 1 思路分析 在运维工作中,古老的方式部署环境.上线代码可能都需要手动在服务器上敲命令,不胜其烦.所以,脚本,自动化工具等还是很有必要的.我觉得一个批量操作工具应该考虑以下几点: (1)本质上,就是到远程主机上执行命令并返回结果. (2)做到批量.也就是要并发对多台机器进行操作. (3)将返回

# -*- coding:utf-8 _*-""" @author:Administrator @file: new_app_publish.py @time: 2018/08/29 """ import paramikoimport sys class AppPush(object): def __init__(self, project, ip="", user="devroot", pwd="

一.死锁现象与递归锁 进程也是有死锁的 所谓死锁: 是指两个或两个以上的进程或线程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用, 它们都将无法推进下去.此时称系统处于死锁状态或系统产生了死锁,这些永远在互相等待的进程称为死锁进程, 如下就是死锁 死锁------------------- from threading import Thread,Lock,RLock import time mutexA = Lock() mutexB = Lock() class MyThr