1 政府数据

  • Data.gov:这是美国政府收集的数据资源。声称有多达40万个数据集,包括了原始数据和地理空间格式数据。使用这些数据集需要注意的是:你要进行必要的清理工作,因为许多数据是字符型的或是有缺失值。
  • Socrata它是探索政府相数据的另一个好地方。Socrata的一个了不起的地方是,他们有不错的可视化工具,使研究数据更为容易。
  • 一些城市都有自己的数据门户网站设置,可供访问者浏览城市的相关数据。例如,在旧金山数据网站,你可以获得很多数据,从犯罪统计到城市的停车位。
  • 联合国有关网站,例如世界卫生组织提供了丰富的数据资源,从死亡率到世界饥饿统计数字。
  • 美国人口普查局也有相当多的生活数据,例如收入、种族、教育、人口和商业信息。

2 集成数据
这些网站已经从各种地方收集了相当多的数据。有时更容易从这里找到好东西。

  • Programmable Web:这是一个探索各类API的好地方。
  • infofochimps:提供了一个数据集市,其中有大量的公开数据资源和API资源。类别非常广泛,从Twitter到地理位置数据。用户甚至可以上传自己的数据。
  • Data Market这也是一个好地方,数据包括了经济,医疗保健,食品和农业,汽车行业相关的数据。
  • Google Public data explorer谷歌公共数据浏览容纳大量的数据,从世界发展指标、经合组织和人类发展指标,主要是有关经济数据。
  • Junar这也是一个很好的提供的数据抓取和传送服务的网站。
  • Buzzdata这是一个提供数据共享服务的网站,它允许用户上传自己的数据和连接。

3 社交网络数据
通常情况下要得到社交数据,需要依赖社交网站本身提供的API数据。

  • Twitter:你可以访问Twitter API,但其用途相当有限,Twitter API有一个获取数据的限制。如果需要更多信息,可以去看看Gnip或者PeopleBrowsrDataSift
  • Foursquare:他们有自己的API,你也可以通过Infochimps得到它。
  • Facebook:Facebook的图形API是Facebook的最佳资源。
  • Face.com一个提供面部识别数据的工具。

4 气象数据

  • Wunderground这里提供了详细的天气信息,可以用邮政编码或城市名称来搜索历史数据。它提供了温度、风速、降水等信息。
  • Weatherbase有详细的天气统计数据,近27000个城市的温度,降雨和湿度。

5 体育数据
下面三个网站都提供球队、球员、教练和经理的全面信息。

  • 足球
  • 棒球
  • 篮球
  • ESPN最近也推出了自己的API,但你必须是一个合作伙伴才可以获得他们的数据。

6 高校和科研
针对在某一领域的学者工作进行搜索是获取数据的有效方法。如果你想在一份研究报告中用一份相关数据,最好的办法是直接联系有关专业的大学教授。
加州大学洛杉矶分校提供了一些在其课程中使用的数据集。

7 新闻资料

  • The New York Times:它有一个很好的API和资源管理器访问任何出版物中的文章。
  • The Guardian Data Blog:卫报的数据博客会定期提供一些数据可视化的文章,其数据可通过Google文档格式下载。

下面是笔者的补充:

最后推荐一本小册子:数据源手册。该书主要介绍了几十种非常有用的API和相关网站,值得一读。你知道在哪下载的。

from:http://xccds1977.blogspot.com/2012/04/30.html

补充:

数据免费开放计划-聚合数据

数据科学中的R和Python: 30个免费数据资源网站的更多相关文章

  1. 数据科学实战手册(R+Python)书中引用资料网址

    本文会持续将<数据科学实战手册(R+Python)>一书中的附带参考资料网址手打出来, 方便访问. 由于书中的参考资料网址太多, 这个文档将可能花费一段时间才能完成. 第一章 P7  Rs ...

  2. 人工智能第三课:数据科学中的Python

    我用了两天左右的时间完成了这一门课<Introduction to Python for Data Science>的学习,之前对Python有一些基础,所以在语言层面还是比较顺利的,这门 ...

  3. 数据科学中的常见的6种概率分布(Python实现)

    作者:Pier Paolo Ippolito@南安普敦大学 编译:机器学习算法与Python实战(微信公众号:tjxj666) 原文:https://towardsdatascience.com/pr ...

  4. 数据科学中需要知道的5个关于奇异值分解(SVD)的应用

    介绍 "Another day has passed, and I still haven't used y = mx + b." 这听起来是不是很熟悉?我经常听到我大学的熟人抱怨 ...

  5. (数据科学学习手札90)Python+Kepler.gl轻松制作时间轮播图

    本文示例代码及数据已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 Kepler.gl作为一款强大的开源地理信 ...

  6. 根据start和limit从已有的数据列表中获取从start开始的limit个数据

    代码记录(需求:根据start和limit从已有的数据列表中获取从start开始的limit个数据) 已有的数据列表:这个数据列表是经过处理的,可能是在SQL查询时无法处理的如多条件排序,而排序条件需 ...

  7. (数据科学学习手札32)Python中re模块的详细介绍

    一.简介 关于正则表达式,我在前一篇(数据科学学习手札31)中已经做了详细介绍,本篇将对Python中自带模块re的常用功能进行总结: re作为Python中专为正则表达式相关功能做出支持的模块,提供 ...

  8. (数据科学学习手札116)Python+Dash快速web应用开发——交互表格篇(中)

    本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 这是我的系列教程Python+Dash快速web ...

  9. (数据科学学习手札126)Python中JSON结构数据的高效增删改操作

    本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 在上一期文章中我们一起学习了在Python ...

随机推荐

  1. java8学习之Collector源码分析与收集器核心

    之前已经对流在使用上已经进行了大量应用了,也就是说对于它的应用是比较熟悉了,但是比较欠缺的是对于它底层的实现还不太了解,所以接下来准备大量通过阅读官方的javadoc反过来加深对咱们已经掌握这些知识更 ...

  2. Java 实现C#中的String.format效果 解决("我是{0},今年了","whaozl") bug

        /**      * 需要引入com.alibaba.fastjson.1.2.8      * 两种调用方式      * String template1="我是{0},今年{1 ...

  3. 高性能mysql 第1章 mysql架构与历史

    mysql逻辑架构图: 第一层 客户端 第二层(服务层):针对所有类型的存储引擎可以公共提取的部分.将存储引擎抽离之后的其他部分都在这里.如:查询解析,分析优化,内置函数,存储过程,触发器,视图. 第 ...

  4. JavaScript原型初学者指南

    视频Videohttps://www.youtube.com/watch... 前言 如果不好好的学习对象,你就无法在JavaScript中获得很大的成就.它们几乎是JavaScript编程语言的每个 ...

  5. Spring整合MongoDB(转)

    1.认识Spring Data MongoDB 之前还的确不知道Spring连集成Nosql的东西都实现了,还以为自己又要手动封装一个操作MongoDB的API呢,结果就发现了Spring Data ...

  6. async异步改同步后怎么监听错误

    当我们使用readFile()这种api,它第一个参数是报的错误,当使用async.await把它改写成同步,我们可以使用try  { }catch{ }解决.

  7. Mybatis-Plus的BaseMapper的用法

    1.如何使用BaseMapper进行数据库的操作. 2.使用BaseMapper进行插入实体时如何让UUID的主键自动生成. Student实体类,其中id属性主键为UUID package com. ...

  8. HTML标签与属性

    HTML中常用的一些标签和属性. 1.lang属性:搜索引擎      en:英文,  zh:中文 2.meta:元数据     charset属性:字符集编码方式 3.h1~h6:标题   一级标题 ...

  9. springboot运行jar包时候加载指定目录的其他jar支持包

    最近发生一个小故障,调试好的项目,发布成jar包后无法找到oracle的驱动,研究了一下解决了.记录一下.写了一个run.sh脚本 #!/bin/bash cd ~ cd app nohup java ...

  10. H5+JAVA的文件上传,断点续传

    这里只写后端的代码,基本的思想就是,前端将文件分片,然后每次访问上传接口的时候,向后端传入参数:当前为第几块文件,和分片总数 下面直接贴代码吧,一些难懂的我大部分都加上注释了: 上传文件实体类: 看得 ...