python的N个小功能(连接数据库并下载相应位置的图片)
##############################################################################################################连接数据库, mysqldb.py###########################
###############################################################################
# -*- coding: utf-8 -*-
"""
Created on Fri Mar 20 10:50:56 2015
@author:sl
"""
import os
import MySQLdb
MySQL_NAME = os.getenv('MySQL_NAME', 'aaa')
MySQL_USER = os.getenv('MySQL_USER', 'bbb')
MySQLPASSWORD = os.getenv('MySQL_PASSWORD', 'ccc')
MySQL_HOST = os.getenv('MySQL_HOST', 'ddd')
MySQL_PORT = os.getenv('MySQL_PORT','eee')
def connect():
db=MySQLdb.connect(host=MySQL_HOST, user=MySQL_USER, passwd=MySQLPASSWORD, db=MySQL_NAME, charset="utf8")
return db
###############################################################################
#####################循环读取下载相应位置图片##################################
###############################################################################
# -*- coding: utf-8 -*-
"""
Created on Mon Mar 06 14:55:15 2017
@author:sl
"""
import mysqldb
#import datetime
import pandas as pd
db = mysqldb.connect()
sql='''
SELECT
aaa,
bbb as urls
FROM
ccc
GROUP BY
aaa
'''
df = pd.read_sql(sql, con=db)
db.close()
from PIL import Image
from io import BytesIO
import requests
import os
from PIL import ImageFile
ImageFile.LOAD_TRUNCATED_IMAGES = True
def download_jpg(url, name):
response = requests.get(url).content ##########获取url对应内容
img = Image.open(BytesIO(response)) ##########打开图片
img.save(name) #########保存图片
if __name__ == '__main__':
df1=df.set_index('aaa') ####以第一列为index,第二列为内容
for mulu in df['aaa']: ####得到第一列全部内容并循环
if not os.path.exists(r' E:\pp\%s'%(mulu)):
os.makedirs(r' E:\pp\%s'%(mulu))
for url in df1.loc[mulu]: ####由第一列内容对应位置得到第二列内容
#print url
bb=url.split(',')
lens=len(bb)
for i in range(lens):
download_jpg('http://aaa=%s'%(str(bb[i])),r'E:\pp\%s\%s.jpg'%(mulu,str(mulu)+str(i))) ######下载对应url区域图片,并以文件夹+序号命名
python的N个小功能(连接数据库并下载相应位置的图片)的更多相关文章
- python的N个小功能(找到符合要求的图片,重命名,改格式,缩放,进行随机分配)
########################################################################## 循环读取该目录下所有子目录和子文件 ####### ...
- python的N个小功能(找到要爬取的验证码链接,并大量下载验证码样本)
# -*- coding: utf-8 -*- """ Created on Mon Mar 21 11:04:54 2017 @author: sl "&qu ...
- python的N个小功能(图片预处理:打开图片,滤波器,增强,灰度图转换,去噪,二值化,切割,保存)
############################################################################################# ###### ...
- python的N个小功能(高斯模糊原理及实践)
原理: 二维高斯函数 1) 为了计算权重矩阵,需要设定σ的值.假定σ=1.5,则模糊半径为1的权重矩阵如下: 2) 这9个点的权重总和等于0.4787147,如果只计算 ...
- python的N个小功能(文本字段对应数值,经纬度计算距离,两个时间点计算时间间隔)
案例1 >>> import pandas as pd >>> df=pd.DataFrame({'A':[1,2,3],'B':[1,2,3],'C':[1,2, ...
- python的N个小功能之正则匹配
1.. 匹配任意除换行符“\n”外的字符:2.*表示匹配前一个字符0次或无限次:3.+或*后跟?表示非贪婪匹配,即尽可能少的匹配,如*?重复任意次,但尽可能少重复,惰性匹配:4. .*? 表示匹配任意 ...
- python的N个小功能(文件内容的匹配替换)
# -*- coding: utf-8 -*- """ Created on Fri Feb 17 20:25:05 2017 @author: who "&q ...
- python的N个小功能(更新文件)
########################################################################## #对于第二份文件:第一份与第二份不相同,以第二份为 ...
- python实现简单的循环购物车小功能
python实现简单的循环购物车小功能 # -*- coding: utf-8 -*- __author__ = 'hujianli' shopping = [ ("iphone6s&quo ...
随机推荐
- 2017-2018-1 20155230 《信息安全技术》实验二——Windows口令破解
2017-2018-1 20155230 <信息安全技术>一.Windows口令破解 1.字典破解 (1)为本机创建新用户.为了达到实验效果,用户口令不要设置得过于复杂,可以选择自己的生日 ...
- 20155311 实验三 敏捷开发与XP实践 实验报告
20155311 实验三 敏捷开发与XP实践 实验报告 实验内容 XP基础 xp核心工具 相关工具 实验要求 没有Linux基础的同学建议先学习<Linux基础入门(新版)><Vim ...
- 20155319 2017-2018-1《信息安全系统设计》第四周课堂测试、Makefile、myod
20155319 2017-2018-1<信息安全系统设计>第四周课堂测试.Makefile.myod 测试2-gcc测试 1.用gcc 进行预处理,编译,汇编,链接vi输入的代码 2.生 ...
- PostgreSQL参数学习:vacuum_defer_clean_age
官方文档: http://www.postgresql.org/docs/9.3/static/runtime-config-replication.html 为了防止slave端读取数据时,因为读到 ...
- Why HBase
3.1.1,为什么选用HBases a) 容量巨大 HBase 的单表可以有百亿行.百万列,数据矩阵横向和纵向两个维度所支持的数据量级 都非常具有弹性.传统的关系型数据库,如 Oracle ...
- mfs分布式系统从理论简介到实战部署
文章前面想说的话:这篇博客写出来真是有点累到了,本来昨天就基本就写好了,放在草稿里面,今天打开就没有了!!唉,就尼玛离我而去了,只有重写,然后中间虚拟机还“爆炸”重启又搞了一会,不容易呀!!希望各位博 ...
- eclipse集成testng插件(离线安装方式)
testng是一个优秀的测试框架,我们在开发自动化测试脚本或者框架的时候经常会用到这个框架,因为它不仅能方便的帮助我们管理测试类,而且它还提供了丰富的注解来支持各种测试场景的实现(参数化,数据提供者, ...
- python怎么安装requests、beautifulsoup4等第三方库
零基础学习python最大的难题之一就是安装所有需要的软件,下面来简单介绍一下如何安装用pip安装requests.beautifulsoup4等第三方库: 方法/步骤 点击开始,在运行里 ...
- 关于 WebView 知识点的详解
什么是 WebView WebView 是手机中内置了一款高性能 webkit 内核浏览器,在 SDK 中封装的一个组件.没有提供地址栏和导航栏, WebView 只是单纯的展示一个网页界面.在开发中 ...
- 初试Gevent – 高性能的Python并发框架
Gevent是一个基于greenlet的Python的并发框架,以微线程greenlet为核心,使用了epoll事件监听机制以及诸多其他优化而变得高效. 于greenlet.eventlet相比,性能 ...