python的N个小功能(连接数据库并下载相应位置的图片)
##############################################################################################################连接数据库, mysqldb.py###########################
###############################################################################
# -*- coding: utf-8 -*-
"""
Created on Fri Mar 20 10:50:56 2015
@author:sl
"""
import os
import MySQLdb
MySQL_NAME = os.getenv('MySQL_NAME', 'aaa')
MySQL_USER = os.getenv('MySQL_USER', 'bbb')
MySQLPASSWORD = os.getenv('MySQL_PASSWORD', 'ccc')
MySQL_HOST = os.getenv('MySQL_HOST', 'ddd')
MySQL_PORT = os.getenv('MySQL_PORT','eee')
def connect():
db=MySQLdb.connect(host=MySQL_HOST, user=MySQL_USER, passwd=MySQLPASSWORD, db=MySQL_NAME, charset="utf8")
return db
###############################################################################
#####################循环读取下载相应位置图片##################################
###############################################################################
# -*- coding: utf-8 -*-
"""
Created on Mon Mar 06 14:55:15 2017
@author:sl
"""
import mysqldb
#import datetime
import pandas as pd
db = mysqldb.connect()
sql='''
SELECT
aaa,
bbb as urls
FROM
ccc
GROUP BY
aaa
'''
df = pd.read_sql(sql, con=db)
db.close()
from PIL import Image
from io import BytesIO
import requests
import os
from PIL import ImageFile
ImageFile.LOAD_TRUNCATED_IMAGES = True
def download_jpg(url, name):
response = requests.get(url).content ##########获取url对应内容
img = Image.open(BytesIO(response)) ##########打开图片
img.save(name) #########保存图片
if __name__ == '__main__':
df1=df.set_index('aaa') ####以第一列为index,第二列为内容
for mulu in df['aaa']: ####得到第一列全部内容并循环
if not os.path.exists(r' E:\pp\%s'%(mulu)):
os.makedirs(r' E:\pp\%s'%(mulu))
for url in df1.loc[mulu]: ####由第一列内容对应位置得到第二列内容
#print url
bb=url.split(',')
lens=len(bb)
for i in range(lens):
download_jpg('http://aaa=%s'%(str(bb[i])),r'E:\pp\%s\%s.jpg'%(mulu,str(mulu)+str(i))) ######下载对应url区域图片,并以文件夹+序号命名
python的N个小功能(连接数据库并下载相应位置的图片)的更多相关文章
- python的N个小功能(找到符合要求的图片,重命名,改格式,缩放,进行随机分配)
########################################################################## 循环读取该目录下所有子目录和子文件 ####### ...
- python的N个小功能(找到要爬取的验证码链接,并大量下载验证码样本)
# -*- coding: utf-8 -*- """ Created on Mon Mar 21 11:04:54 2017 @author: sl "&qu ...
- python的N个小功能(图片预处理:打开图片,滤波器,增强,灰度图转换,去噪,二值化,切割,保存)
############################################################################################# ###### ...
- python的N个小功能(高斯模糊原理及实践)
原理: 二维高斯函数 1) 为了计算权重矩阵,需要设定σ的值.假定σ=1.5,则模糊半径为1的权重矩阵如下: 2) 这9个点的权重总和等于0.4787147,如果只计算 ...
- python的N个小功能(文本字段对应数值,经纬度计算距离,两个时间点计算时间间隔)
案例1 >>> import pandas as pd >>> df=pd.DataFrame({'A':[1,2,3],'B':[1,2,3],'C':[1,2, ...
- python的N个小功能之正则匹配
1.. 匹配任意除换行符“\n”外的字符:2.*表示匹配前一个字符0次或无限次:3.+或*后跟?表示非贪婪匹配,即尽可能少的匹配,如*?重复任意次,但尽可能少重复,惰性匹配:4. .*? 表示匹配任意 ...
- python的N个小功能(文件内容的匹配替换)
# -*- coding: utf-8 -*- """ Created on Fri Feb 17 20:25:05 2017 @author: who "&q ...
- python的N个小功能(更新文件)
########################################################################## #对于第二份文件:第一份与第二份不相同,以第二份为 ...
- python实现简单的循环购物车小功能
python实现简单的循环购物车小功能 # -*- coding: utf-8 -*- __author__ = 'hujianli' shopping = [ ("iphone6s&quo ...
随机推荐
- week8课上实践
课上练习. 第一题: 参考 http://www.cnblogs.com/rocedu/p/6766748.html#SECCLA 在Linux下完成"求命令行传入整数参数的和" ...
- Python socket网络模块
一.基于TCP协议的socket通信 以打电话为理解方式进行TCP的通信. Server端代码: import socket phone = socket.socket(socket.AF_INET, ...
- 使用Python的BeautifulSoup 类库采集网页内容
BeautifulSoup 一个分析.处理DOM树的类库.可以做网络爬虫.模块简称bs4. 安装类库 easy_install beautifulsoup4 pip install beautiful ...
- 存一下emacs配置
(global-set-key [f9] 'compile-file)(global-set-key [f10] 'gud-gdb)(global-set-key (kbd "C-z&quo ...
- stl源码分析之vector
上篇简单介绍了gcc4.8提供的几种allocator的实现方法和作用,这是所有stl组件的基础,容器必须通过allocator申请分配内存和释放内存,至于底层是直接分配释放内存还是使用内存池等方法就 ...
- Codeforces Round #502 (in memory of Leopoldo Taravilse, Div. 1 + Div. 2) E. The Supersonic Rocket
这道题比赛之后被重新加了几个case,很多人现在都过不了了 算法就是先求凸包,然后判断两个凸包相等 我们可以吧凸包序列化为两点距离和角度 角度如果直接拿向量的叉积是不对的,,因为钝角和锐角的叉积有可能 ...
- Struts2(一.基本介绍,环境搭建及需求分析)
Struts2框架开发 前言 开发工具:eclipse struts1:老项目使用较多,维护时需要用到 struts2:新项目使用较多 一.特点 1. 无侵入式设计 struts2 与 struts ...
- 408. Add Binary【LintCode java】
Description Given two binary strings, return their sum (also a binary string). Example a = 11 b = 1 ...
- Java飞机大战MVC版
PlaneWar Java飞机大战MVC版 //无聊时偷的雷霆战机素材写了一个飞机大战,本意是练习mvc,但写得还是不清晰 github下载:https://github.com/dejavudwh/ ...
- mongodb windows 4 zip安装
安装mongoDB目的:学习Express,顺带mongodb. 本文目的: 4.0.2的mongodb在windows7上竟然安装不了. 没办法,用压缩包手动安装吧... 安装环境:win7sp1x ...