原文关于读取pm25.in气象数据的pyhton方法,以及浅析python json的应用

以pm25.in网站数据为例。

1、方法介绍

首先感谢pm25.in提供了优质的空气污染数据,为他们的辛勤劳动点个赞。是python3.3,windows系统,读取数据的时候用到了python的json处理的4个方法,很经典常用。所谓4个方法是:

a)       json.loads()

输入string,返回json。

b)       json.dumps()

输入json类型的数据,返回包含json数据的string,可以这样用的好处是可以进行按key字典排序,json.dumps( json_res, sort_keys=True).

c)       json.load()

输入类文件对象,返回json对象,

json.load(fp, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)

d)       json.dump()

输入json对象,用法:

json.dump(obj,fp,skipkeys=False,ensure_ascii=True,check_circular=True,allow_nan=True,cls=None, indent=None, separators=None,default=None,sort_keys=False, **kw),obj是json对象,fp是要保存的文件。

说明:

包含utf-8编码的html在被windows系统下保存时,会在文件头有BOM,ultraedit编辑器十六进制看到开头是EF BB BF,这个事情很捣乱,导致读取json数据文件时报错,解决办法是:data_file  = open(r'c:\Python33\all_data',encoding='utf_8_sig').read()

加上encoding='utf_8_sig',否则一个json数据开头为BOM标记,整个程序无法识别。

还有要注意,整个传递值的时候,必须统一用utf-8编码,一但不用会产生很多混乱,开始没有注意耽误了不少时间。如

# 请求数据

def requestData( data_file):

# 输入str,返回json数据

json_res = json.loads(data_file, encoding='utf-8')

# 输入json,返回str,目的是排序

encodedjson = json.dumps(json_res, sort_keys=True)

# 输入str,返回json,务必要以utf-8加载json数据

decodejson = json.loads(encodedjson, encoding='utf-8')

return decodejson

2、json数据的分类

json数据分为两类:

一个是对象,如{'a':1,'b':2},或者{'c':3,'d':4},对应python里的dict

一个是json数组,[{'a':1,'b':2},{'c':3,'d':4}],相当于2维数组,相当于python的一个list,dict里的对象的位置是随机的,要想用固定顺序需要用dict = collections.OrderedDict(),如本来是{'a':1,'b':2},普通dict输出可能是{'b':2,'a':1},只有OrderDict才是保证{'a':1,'b':2}这样的输出。

3、pyhton的excel处理

codecs.open(out_file, 'a', 'gbk')

dictWriter = csv.DictWriter(f, list(d.keys()))

dictWriter.writeheader()是写excel文件的列名,只写一次, dictWriter.writerow(d)是按行写数据。

PS: 如果想要加入crontab 需要在文件头加#!/usr/bin/python,否则不行。

4、实现

下面全部程序:

# 请求数据
def requestData(data_file):
# 输入str,返回json数据
json_res = json.loads(data_file, encoding='utf-8') # 输入json,返回str,目的是排序
encodedjson = json.dumps(json_res, sort_keys=True) # 输入str,返回json,务必要以utf-8加载json数据
decodejson = json.loads(encodedjson, encoding='utf-8') return decodejson # 输出数据
def out_data(out_file, d):
if not os.path.exists(out_file):
print(out_file)
header = False
else:
header = True
f = codecs.open(out_file, 'a', 'gbk')
dictWriter = csv.DictWriter(f, list(d.keys()))
# only write header when create a new csv
if not header:
dictWriter.writeheader() dictWriter.writerow(d) f.close() # 主程序
if __name__ == '__main__': # data_file = open(r'c:\Python33\all_data',encoding='utf_8_sig').read()
nowstrp = time.localtime()
out_file = time.strftime('%Y%m%d', nowstrp) + '.csv'
d = collections.OrderedDict() headers = {'User-Agent': 'Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)'}
chaper_url = 'http://www.pm25.in/api/querys/all_cities.json?token=appkey(appkey自己去申请,5工作日给答复)'
# ie9:Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)
# 创建request请求
url_request = urllib.request.Request(chaper_url, data=None, headers=headers)
# 打开网址
url_file = urllib.request.urlopen(url_request) if (url_file.getcode() == 200): chaper_url = 'http://www.pm25.in/api/querys/all_cities.json?token=appkey'
else:
chaper_url = 'http://www.pm25.in/api/querys/all_cities.json?token=appkey' try:
print(chaper_url) headers = {'User-Agent': 'Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)'} # ie9:Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)
# 创建request请求
url_request = urllib.request.Request(chaper_url, data=None, headers=headers)
# 打开网址
url_file = urllib.request.urlopen(url_request)
data_file = url_file.read().decode('utf-8') # status code: 200 OK
while (url_file.getcode() != 200):
raise Exception('Server connection error, status code:' + ' ')
# request again after 3min
time.sleep(3 * 60) headers = {'User-Agent': 'Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)'} # ie9:Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0) url_request = urllib.request.Request(chaper_url, data=None, headers=headers) url_file = urllib.request.urlopen(url_request)
data_file = url_file.read().decode('utf-8')
# 返回数据为json格式
# json_res = data_file.read().decode('utf-8') decodejson = requestData(data_file)
# 存储json天气数据为data_json.txt
f = open('data_json.txt', 'w', encoding='utf-8')
json.dump(decodejson, f)
f.close()
# 下面一句是当数据文件为本机的文件时,才用到的必须加utf_8_sig
# data_final=open(r'c:\Python33\11.txt',encoding='utf_8_sig').read() for element in decodejson:
print(element)
d['area'] = element['area']
d['position_name'] = element['position_name']
d['aqi'] = element['aqi']
d['co'] = element['co']
d['co_24h'] = element['co_24h']
d['no2'] = element['no2']
d['no2_24h'] = element['no2_24h']
d['o3'] = element['o3']
d['o3_24h'] = element['o3_24h']
d['o3_8h'] = element['o3_8h']
d['o3_8h_24h'] = element['o3_8h_24h']
d['pm10'] = element['pm10']
d['pm10_24h'] = element['pm10_24h']
d['pm2_5'] = element['pm2_5']
d['pm2_5_24h'] = element['pm2_5_24h']
d['primary_pollutant'] = element['primary_pollutant']
d['quality'] = element['quality']
d['so2'] = element['so2']
d['so2_24h'] = element['so2_24h']
d['station_code'] = element['station_code']
d['time_point'] = element['time_point'] # 逐行写excel文件
out_data(out_file, d) # os.system('pause')
# time.sleep(180) except Exception as e:
error = traceback.format_exc() + '\r\n'
print(error)
print('\r\n')
f = codecs.open('error.log', 'a', 'utf-8')
f.writelines(error)
f.close()
os.system('pause')

pyhton读取json格式的气象数据的更多相关文章

  1. Android读取JSON格式数据

    Android读取JSON格式数据 1. 何为JSON? JSON,全称为JavaScript Object Notation,意为JavaScript对象表示法. JSON 是轻量级的文本数据交换格 ...

  2. struts2使用jsp和<s:property>标签获取json格式的返回数据

    struts2使用jsp和<s:property>标签获取json格式的返回数据 1.struts2的action中 return "success"; 2.指向的返回 ...

  3. .net core读取json格式的配置文件

    在.Net Framework中,配置文件一般采用的是XML格式的,.NET Framework提供了专门的ConfigurationManager来读取配置文件的内容,.net core中推荐使用j ...

  4. 接口自动化(三)--读取json文件中的数据

    上篇讲到实际的请求数据放置在json文件内,这一部分记述一下python读取json文件的实现. 代码如下(代码做了简化,根据需要调优:可做一些容错处理): 1 import json 2 3 cla ...

  5. spring mvc接收参数方式,json格式返回请求数据

    1 使用方法形参使用变量接收提交的数据 2 在方法的形参中使用模型接收数据 3 如果在提交的表单中有多个数据模型,需要创建一个新的Bean,里面的属性是要接收的对象变量. 4 接收提交的日期字符串,转 ...

  6. Ajax实现异步操作实例_针对JSON格式的请求数据

    最近写了一篇ajax异步操作XML格式的,今天就写关于json格式的. 一.简单了解Json 1. JSON有两种表示结构,对象和数组. 1.1 对象: { key1:value1, key2:val ...

  7. Django-choices字段值对应关系(性别)-MTV与MVC科普-Ajax发json格式与文件格式数据-contentType格式-Ajax搭配sweetalert实现删除确认弹窗-自定义分页器-批量插入-07

    目录 models 字段补充 choices 参数/字段(用的很多) MTV与MVC模型 科普 Ajax 发送 GET.POST 请求的几种常见方式 用 Ajax 做一个小案例 准备工作 动手用 Aj ...

  8. ajax发送json格式与文件数据、django自带的序列化器(了解)

    上期内容回顾 聚合查询和分组查询 # 聚合查询 max min sum avg count # 查询关键字:aggregate from django.db.models import Max, Mi ...

  9. perl 读取json 格式的文件

    使用JSON 模块中的 decode_json 函数,将json文件中的数据解码为perl 中的对象,然后进行处理 代码如下: #!/usr/bin/env perl use JSON; use En ...

随机推荐

  1. hdu1003 dp(最大子段和)

    题意:给出一列数,求其中的最大子段和以及该子段的开头和结尾位置. 因为刚学过DP没几天,所以还会这题,我开了一个 dp[100002][2],其中 dp[i][0] 记录以 i 为结尾的最大子段的和, ...

  2. Android dip(dp) 与 sp的自适应问题

    本文转载于:http://www.oschina.net/question/272860_70761 今天碰到的一个问题,感觉应该其他人也会碰到,拿来分享一下. 我们都知道android在开发配置界面 ...

  3. 论文笔记之:Visual Tracking with Fully Convolutional Networks

    论文笔记之:Visual Tracking with Fully Convolutional Networks ICCV 2015  CUHK 本文利用 FCN 来做跟踪问题,但开篇就提到并非将其看做 ...

  4. pgbouncer配置

    DESCRIPTION pgbouncer is a PostgreSQL connection pooler. Any target application can be connected to  ...

  5. 替换linux下的rm命令,并对-rf进行判断

    补充了对根目录,以及-r -rf -f的判断 1.使用root用户在/usr/local目录创建.rmov.sh #!/bin/shPARA_CNT=$#TRASH_DIR="/data01 ...

  6. maxscript, 数组和字符串下标是从1开始的

    maxscript中数组和字符串下标是从1开始的.

  7. OpenJudge计算概论-短信计费

    /*===================================== 短信计费 总时间限制: 1000ms 内存限制: 65536kB 描述 用手机发短信,一般一条短信资费为0.1元,但限定 ...

  8. 【转】php curl 伪造IP来源的实例代码

    curl发出请求的文件fake_ip.php: 代码 复制代码 代码如下: <?php $ch = curl_init(); $url = "http://localhost/targ ...

  9. vs2013创建mvc项目体系找不到指定文件

    在Visual Studio 2013中创建新MVC项目,(2013默认创建的就是mvc5的项目) 断定后提示,体系找不到指定的文件.(Exception HRESULT:08x0070002): 究 ...

  10. shiro权限验证标签

    实例: spring-shiro.xml /admin/repairType/index = roles["ROLE_ADMIN"] /admin/user=roles[" ...