python链家网二手房异步IO爬虫,使用asyncio.aiohttp和aiomysql 很多小伙伴初学python时都会学习到爬虫,刚入门时会使用requests.urllib这些同步的库进行单线程爬虫,速度是比较慢的,后学会用scrapy框架进行爬虫,速度很快,原因是scrapy是基于twisted多线程异步IO框架. 本例使用的asyncio也是一个异步IO框架,在python3.5以后加入了协程的关键字async,能够将协程和生成器区分开来,更加方便使用协程. 经过测试,平均1秒可以爬…

有一个库叫做aiomysql,这是一个基于asyncio和pymysql的库.至于为什么可以在tornado中使用,是因为高版本tornado的底层使用了asyncio. import asyncio import aiomysql async def test(loop): # 这里的loop就是我们通过asyncio.get_event_loop()创建的,但是其实可以不传,因为会自动创建一个 async with aiomysql.create_pool(host="localhost&q…

emotions: those days,i am using aiomysql(python3.5) to acess my database .But a 'strange' problem make me trouble more times.The problem is i can't insert data into my database table using aiomysql's cursor.execute(**) method. Fortunately,i sovled it…

aiomysql: import aiomysql import asyncio async def aiomysql_test(): loop = asyncio.get_event_loop() # 第一种连接方法 pool = await aiomysql.create_pool(host='127.0.0.1', port=3306, user='root', password='root', db='cfda', loop=loop, charset='utf8', autocommi…

有一个库叫做aiomysql,这是一个基于asyncio和pymysql的库.至于为什么可以在tornado中使用,是因为高版本tornado的底层使用了asyncio. import asyncio import aiomysql async def test(loop): # 这里的loop就是我们通过asyncio.get_event_loop()创建的,但是其实可以不传,因为会自动创建一个 async with aiomysql.create_pool(host="localhost&q…

wsgi自带,用语构建简单服务器 例子 from wsgiref.simple_server import make_server def index(env, res): res('200 ok', [('Content-Type', 'text/html')]) print(env['PATH_INFO'][1:]) # method = env['REQUEST_METHOD'] body = '<h1>hello %s </h1>' % (env['PATH_INFO'][…

不懂的东西还太多,就当是自己监督自己吧 #!/usr/bin/env python3 # -*- coding: utf-8 -*- __author__ = 'Michael Liao' import asyncio, logging import aiomysql def log(sql, args=()): logging.info('SQL: %s' % sql) #用来打印sql的?args没有用到. async def create_pool(loop, **kw): # 建立一个异…

看了一下廖雪峰的那个web框架,其实就是封装了web.py,请求使用异步并将aiomysql做为MySQL数据库提供了异步IO的驱动,前端部分则整合了jinja.其中最难的应该是orm部分了. 下面是orm一个简单的例子. class User(Model): __table__ = 'users' id = StringField(primary_key=True, default=next_id, ddl='varchar(50)') email = StringField(ddl='var…

#!/usr/bin/env python3 # -*- coding: utf- -*- # # Python3 ORM hacking # 说明: # 之前分析了一个Python2 ORM的源代码,这次分析一个Python3的源代码,在写法上 # 还是又挺大的区别的.# 2016-10-22 深圳 南山平山村 曾剑锋 # # 源码: # https://github.com/michaelliao/awesome-python3-webapp/tree/day-03 # # 参考文章: #…

注:本系列是根据廖雪峰python实战过程,详情可见(https://www.liaoxuefeng.com/) 环境准备 Python 版本:Python 3.X,查看python版本python -version,我自身的版本是Python 3.5.2 安装 开发Web App 需要的第三方库 异步框架aiohttppip install aiohttp 前端引擎模板jinja2pip install jinja2 MYSQL的Python异步驱动程序aiomysqlpip install…