目录 简介 采集模板 一批,一次性采集 动态添加任务 动态添加任务,封装成类 简介 aiohttp需要python3.5.3以及更高的版本,它不但能做客户端爬虫,也能做服务器端,利用asyncio,协程,十分高效 官方文档 采集模板 一批,一次性采集 import asyncio import logging import time from aiohttp import ClientSession, ClientTimeout logging.basicConfig(level=logging…

TCPConnector维持链接池,限制并行连接的总量,当池满了,有请求退出再加入新请求.默认是100,limit=0的时候是无限制 1.use_dns_cache: 使用内部DNS映射缓存用以查询DNS, 优点:可能会使连接建立的速度更快, 缺点:比如说ip其实变了,但是DNS在映射缓存中的信息还没更新过来. 2.limit:同时连接的最大数量 3.limit_per_host: 同一端点的最大连接数量.同一端点即(host, port, is_ssl)完全相同 TCPConnector cl…

简易聊天室: 1.入口main.py import logging import jinja2 import aiohttp_jinja2 from aiohttp import web from aiohttpdemo_chat.views import index async def init_app(): app = web.Application() app['websockets'] = {} app.on_shutdown.append(shutdown) aiohttp_jinja…

asyncio可以实现单进程并发IO操作,如果仅用在客户端,发挥的威力并不大,如果把asyncio用在服务器端,由于http链接就是IO操作, 因此可以用单线程+coroutine实现多客户的高并发支持 异步编程的一个原则:一旦决定使用异步,则系统每一层都必须是异步,“开弓没有回头箭”. asyncio实现了TCP,UDP,SSL等协议,aiohttp则是基于asyncio实现的HTTP框架 编写一个HTTP服务器,分别处理以下URL: / 首页返回一个HTML /hello/{name} 根据…

概要 <用OpenResty搭建高性能服务端>是OpenResty系列课程中的入门课程,主讲人:温铭老师.课程分为10个章节,侧重于OpenResty的基本概念和主要特点的介绍,包括它的指令.nginx_lua API.缓存.如何连接数据库.执行阶段等,并通过几个实际的操作和代码片段,告诉大家学习中如何搭建开发.测试环境,如何调试.查找和解决问题. 视频播放地址:https://study.163.com/course/introduction.htm?courseId=1520005 课程目…

前记: 这几天在弄小程序,view页面的开发很简单,但是在加载图片上遇到了问题,小程序的大小不能超过2M,所以大部分的图片内容要通过request请求服务器来获取,这里之前学习小程序的时候是通过网站API接口实现的,但是现在想要加载自定义的图片,一开始的想法是看看能不能自己来写后端写接口,可是我是个后端小白面对一大堆新知识显得有点措手不及,查阅资料发现TX自己有一个基于Node.js的后端Demo,可是拿到这个Demo看了看源码还是一脸懵逼,很是苦恼.想着开始学后端吧,找了一些视频发现大多是PH…

这是阅读廖雪峰的官方网站的笔记,用于自己以后回看 1.进入项目文件夹 初始化一个Git仓库,使用git init命令. 添加文件到Git仓库,分两步: 第一步,使用命令git add <file>,注意,可反复多次使用,添加多个文件:// 第二步,使用命令git commit,完成. 2.修改文件 git status命令可以让我们时刻掌握仓库当前的状态,上面的命令告诉我们,readme.txt被修改过了,但还没有准备提交的修改. git diff顾名思义就是查看difference,显示的格…

之前听说过webpack,今天想正式的接触一下,先跟着webpack的官方用户指南走: 在这里有: 如何安装webpack 如何使用webpack 如何使用loader 如何使用webpack的开发者服务器 一.安装webpack 你需要之前安装node.js $ npm install webpack -g 安装成功后,便可以使用webpack命令行了. ok,开始工作! 二.新建一个空目录,名字为myApp,文件如下 entry.js document.write("It works.&qu…

SQL Server技术内幕笔记合集 发这一篇文章主要是方便大家找到我的笔记入口,方便大家o(∩_∩)o Microsoft SQL Server 6.5 技术内幕 笔记http://www.cnblogs.com/lyhabc/articles/3914213.html Microsoft SQL Server 2005技术内幕:T-SQL查询笔记http://www.cnblogs.com/lyhabc/articles/3912608.html Microsoft SQL Server 2…

1.  开始 这几天,看了李炎恢老师的<PHP第二季度视频>中的“章节7:创建TPL自定义模板”,做一个学习笔记,通过绘制架构图.UML类图和思维导图,来对加深理解. 2.  整体架构图 3.  UML类图 4.  思维导图 (右键查看图片可放大) 5.  PHP代码 我已经把有关这部分PHP代码,上传到git.oschina.net上,可以在 https://git.oschina.net/andywww/myTest 的文件夹template_Study下看到相关的完整代码. templa…