NCDC 天气数据的预处理

"Hadoop: The Definitive Guild" 这本书的例子都是使用NCDC 天气数据的,但由于书的出版和现在已经有一段时间了,NCDC现在提供的原始数据结构已经有了一些变化,本文主要描述书中附表C中的GSOD数据的预处理过程. GSOD的数据可以在NCDC官网找到: 其实就是如下FTP信息: ftp://ftp.ncdc.noaa.gov/pub/data/gsod 路径:/pub/data/gsod 进入FTP你会发现所有天气信息按年保存文件夹里面,当前有115个文件…

hive查询ncdc天气数据

使用hive查询ncdc天气数据在hive中将ncdc天气数据导入,然后执行查询shell,可以让hive自动生成mapredjob,快速去的想要的数据结果. 1. 在hive中创建ncdc表,这个表用来存放ncdc的数据 create table ncdc ( year string, month string, data string, time string, air string, a string, b string, c string, d string, e string, f…

hadoop-hive查询ncdc天气数据实例

Hadoop学习之NCDC天气数据获取

期望目的下载<Hadoop权威教程>里用到的NCDC天气数据,供后续在此数据基础上跑mapred程序. 操作过程步骤一.编写简单的shell脚本,下载数据文件到本地文件系统已知NCDC天气数据父目录地址为ftp://ftp.ncdc.noaa.gov/pub/data/noaa/,编写如下脚本下载1901年到1950年的天气数据: #!/bin/sh uri=ftp://ftp.ncdc.noaa.gov/pub/data/noaa/ start= end= for((i=start;i…

使用腾讯云无服务器云函数（SCF）分析天气数据

欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 作者:李想无服务器云函数(SCF)是腾讯云提供的Serverless执行环境,也是国内首款FaaS(Function as a Service,函数即服务) 产品.其核心理念是让用户将重心放在业务的逻辑实现上,而不用关心底层的运维包括服务器.存储.网络.自动扩缩容.负载均衡.代码部署等问题. 云函数既然以函数这两个字来命名,其应用场景也是跟函数是极为相似的,即对一段数据执行函数计算然后进行输出.腾讯云云函数提供了各类触发器来控制函数的执行…

附录C 准备NCDC气象数据(加解释)

附录C 准备NCDC气象数据这里首先简要介绍如何准备原始气象数据文件,以便我们能用Hadoop对它们进行分析.如果打算得到一份数据副本供Hadoop处理,可按照本书配套网站(网址为http://www.hadoopbook.com/)给出的指导进行操作.接下来,首先说明如何处理原始的气象文件. 原始数据实际是一组经过bzip2压缩的tar文件.每个年份的数据单独放在一个文件中.部分文件列举如下: 1901.tar.bz2 1902.tar.bz2 1903.tar.bz2 ... 2000.t…

C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)

第一次接触HtmlAgilityPack是在5年前,一些意外,让我从技术部门临时调到销售部门,负责建立一些流程和寻找潜在客户,最后在阿里巴巴找到了很多客户信息,非常全面,刚开始是手动复制到Excel,是真尼玛的累,虽然那个时候C#还很菜,也想能不能通过程序来批量获取(所以平时想法要多才好).几经周折,终于发现了HtmlAgilityPack神器,这几年也用HtmlAgilityPack采集了很多类型数据,特别是足球赛事资料库的数据采集以及天气数据采集,都是使用HtmlAgilityPack,所以…

caffe中关于数据进行预处理的方式

caffe的数据层layer中再载入数据时,会先要对数据进行预处理.一般处理的方式有两种: 1. 使用均值处理 transform_param { mirror: true crop_size: mean_file: "/media/mn_mean.binaryproto" } data_param { source: "/medi/mn_train_db" batch_size: backend: LMDB } 2.采用将数据乘以 1/255 使其值在0-1之间.…

C#抓取天气数据

使用C#写的一个抓取天气数据的小工具,使用正则匹配的方式实现,代码水平有限,供有需要的同学参考.压缩包中的两个sql语句是建表用的. http://files.cnblogs.com/files/yuanyuan/DownloadWeatherData.zip…

C# 解析百度天气数据,Rss解析百度新闻以及根据IP获取所在城市

百度天气接口地址:http://api.map.baidu.com/telematics/v3/weather?location=上海&output=json&ak=hXWAgbsCC9UTkBO5V5Qg1WZ9,其中ak是密钥,自行去申请即可,便于大家测试,楼主就公布并了自己的Key,这样可以直接获取到数据. 获取到的数据是这样的: {"error":0,"status":"success","date"…

移动平台作业——天气预报——天气数据的获得——为应用申请百度ak码

需求: 可切换城市可实时更新(按钮或手势或下拉刷新) 可现实未来三日的天气不限制横屏或者竖屏,不限制布局样式,但要求得到的数据均需显示(北京.天气数据.天气图标) 提示: 获得实时天气数据(任选一项) json数据格式 http://api.map.baidu.com/telematics/v3/weather?location=上海&output=json&ak=hXWagbsCC9UTkBO5V5QglWZ9 这个码:抄的我累死了,结果还访问不了.醉了. 如果可以的话可以试着得…

Scrapy实战篇（五）之爬取历史天气数据

本篇文章我们以抓取历史天气数据为例,简单说明数据抓取的两种方式: 1.一般简单或者较小量的数据需求,我们以requests(selenum)+beautiful的方式抓取数据 2.当我们需要的数据量较多时,建议采用scrapy框架进行数据采集,scrapy框架采用异步方式发起请求,数据抓取效率极高. 下面我们以http://www.tianqihoubao.com/lishi/网站数据抓取为例进行进行两种数据抓取得介绍: 1.以request+bs的方式采集天气数据,并以mysql存储数据思路…

MODIS 数据产品预处理

MODIS 数据产品预处理 1 MCTK重投影第一步:安装ENVI的MCTK扩展工具解压压缩包,将其中的mctk.sav与modis_products.scsv文件复制到如图所示,相应的ENVI安装路径中去. 第二步:打开ENVI5.3标准版如图所示在右边的工具栏处打开最下方的Extensions工具扩展包.可以看到安装的处理工具如图所示.鼠标左键双击打开其中的mctk工具. 在MODIS Conversion Toolkit(MCTK)工具栏中,点击Input HDF按钮加载将要进行处…

scrapy爬取天气数据

看了scrapy,打算构建自己的天气数据,目标源:就是你了,中国天气网! 仔细点两下这个网站,发现可以由各个省.直辖市到省市所属的地级市,再到各县,页面在这: 点开就可以看到中国所有的省.直辖市,但港澳台的天气数据没有,所以就把这三个地区过滤掉. 接下来,就是一步步的解析,基本上没什么好讲的,最后把结果存入mongodb.项目地址: WeatherCrawler…

python + docker, 实现天气数据从FTP获取以及持久化（四）-- 数据准备

前情提要在之前的文章里,我们已经掌握从FTP上面下载天气数据然后插入到数据库中. 但是如何将我们已有的数据放到生产环境中呢? 思考首先,我们先简单的理一理现在的情况. 目前: FTP上面已有半个月的天气数:每天会有2个txt文件产生 (每个文件大小约为 50~60 kb),由天气供应商负责上传到FTP上. 如图所示: 思路1: 经过简单的测试,每次读取一个txt文件然后写入数据库的时间大约为1s, 因此,可以考虑写一个小工具,从FTP上依次读取所有的txt, 然后插入数据库.也就是利用小工具…

python + docker, 实现天气数据从FTP获取以及持久化（二）-- python操作MySQL数据库

前言在这一节中,我们主要介绍如何使用python操作MySQL数据库. 准备 MySQL数据库使用的是上一节中的docker容器 “test-mysql”. Python 操作 MySQL 我们使用的IDE是 “神奇” 的 pycharm: 1. 首先新建一个python的项目,并且安装 “mysql-connector-python”. “mysql-connector-python” 是MySQL官方对于python的数据驱动,感兴趣的童鞋可以移步这里: https://dev.mysql…

python + docker, 实现天气数据从FTP获取以及持久化（一）

前情提要最近项目需要天气数据(预报和历史数据)来作为算法程序的输入. 项目的甲方已经购买了天气数据, 依照他们的约定,天气数据的供应商会将数据以"文本" (.TXT)的方式发到FTP上面. 因此,我们需要将这些数据从FTP上面获取出来,并做好持久化工作.以备我们算法程序的使用. 持久化准备由于项目的需要和考虑历史的一些因素,我们这边的数据库选型时MYSQL.她作为一个开源的关系型数据库,个人感觉还是非常不错滴~~ 此外,利用Python和docker作为开发与部署(devops)相…

Deep Learning 学习笔记（3）：Linear Regression 数据的预处理

为了获得良好的收敛,在进行梯度下降前,我们可以对数据进行预处理. 目标是使得数据大小在同一个数据数量级上,均值为零. 一般将数据放缩到(-1,1)区间, 我们可以对数据进行如下操作: 其中u1是数据的均值,s1为数据绝对值的最大值. 用处理后的数据进行梯度下降可以获得更好效果.…

Android访问中央气象台的天气预报API得到天气数据

最新说明:该接口已失效! 2014-03-04 可申请它公布的API,需申请:http://smart.weather.com.cn/wzfw/smart/weatherapi.shtml 在用Android获取天气预报数据时,大家一定会首先想到Google的天气预报API,其实除了Google的天气预报API,免费的天气预报接口还有http://www.webservicex.net/globalweather.asmx?op=GetWeather.http://webservice.we…

JSONP跨域jQuery处理整理（附天气数据实例）

写在前面跨域的解决方案有多种,其中最常见的是使用同一服务器下的代理来获取远端数据,再通过ajax进行读取,而在这期间经过了两次请求过程,使得获取数据的效率大大降低,这篇文章蓝飞就为大家介绍一下解决跨域问题的一种比较通用的方案——JSONP. 什么是跨域? 简单的来说,出于安全方面的考虑,页面中的JavaScript无法访问其他服务器上的数据,即“同源策略”.而跨域就是通过某些手段来绕过同源策略限制,实现不同服务器之间通信的效果. 具体策略限制情况可看下表: URL 说明允许通信 http:/…

python爬虫爬取天气数据并图形化显示

前言使用python进行网页数据的爬取现在已经很常见了,而对天气数据的爬取更是入门级的新手操作,很多人学习爬虫都从天气开始,本文便是介绍了从中国天气网爬取天气数据,能够实现输入想要查询的城市,返回该城市未来一周的天气情况,保存为csv文件,并对数据图形化展示分析.最后附完整代码. 1.使用模块 Python3.主要使用到了csv.sys.urllib.request和BeautifulSoup4模块,其中csv模块是为了对csv文件的处理,urllib.request可以构造http请求,Be…

易百教程人工智能python修正-人工智能数据准备-预处理数据

预处理数据在我们的日常生活中,需要处理大量数据,但这些数据是原始数据. 为了提供数据作为机器学习算法的输入,需要将其转换为有意义的数据. 这就是数据预处理进入图像的地方. 换言之,可以说在将数据提供给机器学习算法之前,我们需要对数据进行预处理. 数据预处理步骤按照以下步骤在Python中预处理数据 - 第1步 - 导入有用的软件包 - 如果使用Python,那么这将成为将数据转换为特定格式(即预处理)的第一步.如下代码 - import numpy as np from sklearn im…

心知天气数据API 产品的高并发实践

心知天气数据API 产品的高并发实践心知天气作为国内领先的商业气象服务提供商,天气数据API 产品从公司创立以来就一直扮演着很重要的角色.2009 年API 产品初次上线,历经十年,我们不断用心迭代,已经为数百家企业客户提供了超过540亿次稳定可靠的数据服务.在心知天气官网首页一直跳动的调用量数字就实时展示了整个天气API 产品的服务状态.目前,心知天气数据API 的QPS 在高峰时期已经达到数千的量级,如何承载这样海量的并发请求,使客户能稳定及时的获取到所需数据自然也是心知技术团队一路以来不…

吴裕雄--天生自然PYTHON爬虫：安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

1.下载MongoDB 官网下载:https://www.mongodb.com/download-center#community 上面这张图选择第二个按钮上面这张图直接Next 把bin路径添加到path中,如下图: 在安装路径下自己创建一个文件mongo.conf,配置内容如下: #数据库路径dbpath=E:\mongodb\data#日志输出文件路径logpath=E:\mongodb\log\mongo.log#错误日志采用追加模式logappend=true#启用日志文件,默认启…

Python脚本：爬取天气数据并发邮件给心爱的Ta

第一部分:爬取天气数据 # 在函数调用 get_weather(url = 'https://www.tianqi.com/foshan') 的 url中更改城市,foshan为佛山市 1 import requests 2 from lxml import etree 3 4 ### 爬取www.tianqi.com的今日和明日数据 5 def get_weather(url = 'https://www.tianqi.com/hangzhou/'): 6 headers = {'User-A…

毕设之Python爬取天气数据及可视化分析

写在前面的一些P话:(https://jq.qq.com/?_wv=1027&k=RFkfeU8j) 天气预报我们每天都会关注,我们可以根据未来的天气增减衣物.安排出行,每天的气温.风速风向.相对湿度.空气质量等成为关注的焦点.本次使用python中requests和BeautifulSoup库对中国天气网当天和未来14天的数据进行爬取,保存为csv文件,之后用matplotlib.numpy.pandas对数据进行可视化处理和分析,得到温湿度度变化曲线.空气质量图.风向雷达图等结果,为获得未来…