爬取国家统计局官网的行政区域数据,包括省市县镇村5个层级,其中港澳地区的数据只有3级;台湾地区4级;包含大陆地区的邮政编码和经纬度信息. 行政划分的总体结构是: 省->市(州)->县(区)->乡镇(办事处)->村委会(社区) 链接地址:http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/ 全部共 778092 条 大陆数据共713479 条,其中 省/直辖市 31 市/州 343 县/区 3359 乡/镇 44706 村/社区 6650…

一 MySQL的安装 MySQL现在属于甲骨文公司,所以和java语言匹配度较高,同时甲骨文公司的另一种数据库为Oracle,两者同为关系型数据库,即采用关系模型来组织数据,以行和列的方法来存储数据的数据库.关系型数据库便于理解. 最新版的MySQL可以从https://www.mysql.com/官网下载,现在我学习用的版本为5.5.40 64位版本,进行安装时安装路径要全英文,不能有中文字符,在安装过程中choose setup type 选项时要选择Custom,其余按照默认选项一路nex…

     一般的网站应用中,总会有部分二次数据(处理过的原始数据)展现给前台,比如,拿购物网站来说,购买进口奶粉最多的用户群体:哪类产品消费增长趋势最旺盛:用户的消费历史归类等都是二次数据.由于这部分数据通常是分析后的数据,而且实时性不强,因此这个过程通常是通过离线计算得到.为了展现给前台,需要将这部分数据回流到关系型数据库[离线计算集群一般都是KV存储,不支持SQL],供前端用户查询.       对于MYSQL而言,数据回流实质就是通过mysqlimport或load data infile…

在Android开发中.一般的APP都是通过获取server端的数据来更新UI.从server获取到的数据能够是Json.它的数据量要比XML要小,这里解析中国天气网上获取的数据,尽管已经不再更新了.但用来学习还是能够的.为了方便我直接到数据通过txt保存到本地,它的数据能够通过这个页面获取:http://m.weather.com.cn/data/101280601.html 文件夹结构 事实上解析也非常easy.关键代码 private void json3() { InputStream…

超轻量级高性能ORM数据访问组件Deft,比dapper快20%以上 阅读目录 Deft简介 Deft 核心类介绍 Deft 3分钟即可上手使用 其他可选的配置参数 性能测试 Demo代码下载 回到顶部 Deft简介 Deft是一个超轻量级高性能O/R mapping数据访问组件,简单易用,几分钟即可上手.原文地址:http://www.cnblogs.com/StrangeCity/p/5566471.html Deft包含如下且不限于此的优点: 1.按照Transact-SQL的语法语义风格…

谈谈MySQL数据表的类型 通常意义上,数据库也就是数据的集合,具体到计算机上数据库可以是存储器上一些文件的集合或者一些内存数据的集合. 我们通常说的MySql数据库,sql server数据库等等其实是数据库管理系统,它们可以存储数据,并提供查询和更新数据库中的数据的功能等等.根据数据库如何存储数据和如何操作数据的实现机制不同,这些数据库之间即有区别又有共同点. MySql数据库是开放源代码的关系型数据库.目前,它可以提供的功能有:支持sql语言.子查询.存储过程.触发器.视图.索引.事务.锁…

把Mysql的数据同步到Elasticsearch是个很常见的需求,但在Github里找到的同步工具用起来或多或少都有些别扭. 例如:某记录内容为"aaa|bbb|ccc",将其按|分割成数组同步到es,这样的简单任务都难以实现,再加上配置繁琐,文档语焉不详... 所以我写了个同步工具MysqlsMom:力求用最简单的配置完成复杂的同步任务.目前除了我所在的部门,也有越来越多的互联网公司在生产环境中使用该工具了. 欢迎各位大佬进行试用并提出意见,任何建议.鼓励.批评都受到欢迎. git…

通过查看数据可知,直辖市或者某些三级行政区域没有对应的二级区域,为方便后续的地址使用,可自定义缺失的二级地址. 如下示例自定义的二级行政区域的名称为一级区域的名称,对应的源码如下所示: 将此段源码添加的上篇博客文章 Java学习-057-Jsoup爬虫获取中国所有的三级行政区划数据(二),并生成数据库 SQL 脚本插入语句 中对应输出总数之前,应该就可以使用了.…

#solr版本:7.4.0 一.新建Core 进入安装目录下得server/solr/,创建一个文件夹,如:new_core 拷贝server/solr/configsets/_default/conf/下的solrconfig.xml.protwords.txt.synonyms.txt.stopwords.txt文件和lang文件夹,到刚刚创建的new_core文件夹下 拷贝server/solr/configsets/_default/conf/下的schema.xml文件到刚刚创建的ne…

Hadoop 中利用 mapreduce 读写 mysql 数据   有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP 的需求,我们需要 mapreduce 与 mysql 进行数据的交互,而这些特性正是 hbase 或者 hive 目前亟待改进的地方. 好了言归正传,简单的说说背景.原理以及需要注意的地方: 1.为了方便 MapReduce 直接访问关系型数据库(Mysql,Oracle),Hadoop提供了DBI…