省市县镇村五级地址智能提取（标准地址源来自国家统计局官网）SpringBoot+Elasticsearch 5.6

项目目的

根据传入的地址，智能提取所属的省市县镇村5级地址。例如：用户输入“江苏南通嗨安李堡镇陈庄村8组88号”，我们需要提取到江苏省  南通市  海安县（即便用户输入了错字，“海”写成了“嗨”） 李堡镇  陈庄村 这5级地址以及相应编号。

项目地址

https://github.com/jaa88/springboot-mybatis-elasticsearch

使用步骤

 1.安装elasticsearch，推荐es 5.6，因为版本不同可能部分api访问失败。在配置文件中配置相关地址
 2.执行localhost:7070/address/readAddress 五级地址信息放在resource下，另外，我是500条一执行（因为我给es分的内存只有 256mb，穷啊，买的1g内存的阿里云服务器，内存有限），请根据自己的内存，适当调高，一般本地测的时候，10000条/次导入es无压力。
 3.访问时，localhost:7070/address/searchAddress?addressName=********即可

解决方案分析

一开始同事的思路：研究分词算法，将用户输入的地址按省市县镇村分隔。

个人感觉：实现不了，因为用户输入并不是标准输入，例如标准地址为“江苏省南通市海安县李堡镇陈庄村**组**号”，但是用户 的输入不可控，他可能输入“江苏南通海安....”，也许输入“江苏海安....”，可能多字，可能少字，可能错别字

我的实现思路：分词、倒排索引、文本相似度匹配

思路听起来很高大上，其实有现成的工具ElasticSearch（底层是Lucene全文搜索引擎）帮我们完成了几乎所有的工作。

问题分析抽象：

其实这个场景很清晰，我们就是要从一个地址中识别出各级别，但是这个地址本身不能够为我们提供这些标准数据。
       转化一下思路，我们可不可以拿用户输入的，去和标准的五级完整数据（例如江苏省南通市海安县李堡镇陈庄村）匹配？取匹配度最高的那一条，标准的那条对应的五级就很清晰明了了。
例如用户输入“江苏省海安县李堡镇陈庄村8组88号”，发现和“江苏省南通市海安县李堡镇陈庄村”匹配度最高，而这条文档又可以提供出省、市、县、镇、村相关信息。

付诸实现：详见代码

过程&结果

将国家统计局爬取的地址数据，导入es中用于检索，原数据存放格式为：

 110000000000   北京市 1   省
 110100000000   市辖区 2   市
 110101000000   东城区 3   区县
 110101001000   东华门街道办事处    4   街道
 110101001001   多福巷社区居委会    5   村、社区
 110101001002   银闸社区居委会 5   村、社区

中间的间隔为空格或者tab，不太好分隔，首先在nodepad++中将所有的空格和tab都使用@@替换，这样可以使用@@分隔。处理后的格式为：

 110000000000@@北京市@@1@@省
 110100000000@@市辖区@@2@@市
 110101000000@@东城区@@3@@区县
 110101001000@@东华门街道办事处@@4@@街道
 110101001001@@多福巷社区居委会@@5@@村、社区
 110101001002@@银闸社区居委会@@5@@村、社区
 110101001005@@东厂社区居委会@@5@@村、社区
 110101001006@@智德社区居委会@@5@@村、社区

es中存储的数据结构为若干以下格式的文档，约67万条：

 {
    "fullAddressName": "北京市市辖区东城区东华门街道办事处黄图岗社区居委会",
    "provAddrNo": "110000000000",
    "provAddr": "北京市",
    "cityAddrNo": "110100000000",
    "cityAddr": "市辖区",
    "areaAddrNo": "110101000000",
    "areaAddr": "东城区",
    "townAddrNo": "110101001000",
    "townAddr": "东华门街道办事处",
    "villageAddrNo": "110101001008",
    "villageAddr": "黄图岗社区居委会"
 }

检索时，拿fullAddressName进行匹配，默认带出10条数据，相似度降序排列.例如键入"http://localhost:7070/address/searchAddress?addressName=海安李堡陈庄村十一组47号"时，结果默认展示10条，按相似度降序排列，用的时候一般用第一条，咋用看需求

[{
"fullAddressName": "江苏省南通市海安县李堡镇陈庄村委会",
"provAddrNo": "320000000000",
"provAddr": "江苏省",
"cityAddrNo": "320600000000",
"cityAddr": "南通市",
"areaAddrNo": "320621000000",
"areaAddr": "海安县",
"townAddrNo": "320621103000",
"townAddr": "李堡镇",
"villageAddrNo": "320621103200",
"villageAddr": "陈庄村委会"
}, {
"fullAddressName": "吉林省松原市长岭县前七号镇西十一号村委会",
"provAddrNo": "220000000000",
"provAddr": "吉林省",
"cityAddrNo": "220700000000",
"cityAddr": "松原市",
"areaAddrNo": "220722000000",
"areaAddr": "长岭县",
"townAddrNo": "220722104000",
"townAddr": "前七号镇",
"villageAddrNo": "220722104207",
"villageAddr": "西十一号村委会"
}, {
"fullAddressName": "吉林省长春市榆树市八号镇十一号村委会",
"provAddrNo": "220000000000",
"provAddr": "吉林省",
"cityAddrNo": "220100000000",
"cityAddr": "长春市",
"areaAddrNo": "220182000000",
"areaAddr": "榆树市",
"townAddrNo": "220182110000",
"townAddr": "八号镇",
"villageAddrNo": "220182110205",
"villageAddr": "十一号村委会"
}, {
"fullAddressName": "吉林省松原市长岭县三十号乡三十一村委会",
"provAddrNo": "220000000000",
"provAddr": "吉林省",
"cityAddrNo": "220700000000",
"cityAddr": "松原市",
"areaAddrNo": "220722000000",
"areaAddr": "长岭县",
"townAddrNo": "220722209000",
"townAddr": "三十号乡",
"villageAddrNo": "220722209202",
"villageAddr": "三十一村委会"
 }, {
"fullAddressName": "江苏省南通市海安县李堡镇李堡社区居委会",
"provAddrNo": "320000000000",
"provAddr": "江苏省",
"cityAddrNo": "320600000000",
"cityAddr": "南通市",
"areaAddrNo": "320621000000",
"areaAddr": "海安县",
"townAddrNo": "320621103000",
"townAddr": "李堡镇",
"villageAddrNo": "320621103007",
"villageAddr": "李堡社区居委会"
 }, {
"fullAddressName": "天津市市辖区静海区独流镇十一堡村委会",
"provAddrNo": "120000000000",
"provAddr": "天津市",
"cityAddrNo": "120100000000",
"cityAddr": "市辖区",
"areaAddrNo": "120118000000",
"areaAddr": "静海区",
"townAddrNo": "120118102000",
"townAddr": "独流镇",
"villageAddrNo": "120118102218",
"villageAddr": "十一堡村委会"
 }, {
"fullAddressName": "吉林省松原市扶余市三岔河镇西十一号村委会",
"provAddrNo": "220000000000",
"provAddr": "吉林省",
"cityAddrNo": "220700000000",
"cityAddr": "松原市",
"areaAddrNo": "220781000000",
"areaAddr": "扶余市",
"townAddrNo": "220781100000",
"townAddr": "三岔河镇",
"villageAddrNo": "220781100211",
"villageAddr": "西十一号村委会"
 }, {
"fullAddressName": "吉林省松原市长岭县前七号镇东十一村委会",
"provAddrNo": "220000000000",
"provAddr": "吉林省",
"cityAddrNo": "220700000000",
"cityAddr": "松原市",
"areaAddrNo": "220722000000",
"areaAddr": "长岭县",
"townAddrNo": "220722104000",
"townAddr": "前七号镇",
"villageAddrNo": "220722104213",
"villageAddr": "东十一村委会"
 }, {
"fullAddressName": "河北省张家口市崇礼区狮子沟乡十一号村委会",
"provAddrNo": "130000000000",
"provAddr": "河北省",
"cityAddrNo": "130700000000",
"cityAddr": "张家口市",
"areaAddrNo": "130709000000",
"areaAddr": "崇礼区",
"townAddrNo": "130709205000",
"townAddr": "狮子沟乡",
"villageAddrNo": "130709205216",
"villageAddr": "十一号村委会"
 }, {
"fullAddressName": "吉林省松原市扶余市三岔河镇东十一号村委会",
"provAddrNo": "220000000000",
"provAddr": "吉林省",
"cityAddrNo": "220700000000",
"cityAddr": "松原市",
"areaAddrNo": "220781000000",
"areaAddr": "扶余市",
"townAddrNo": "220781100000",
"townAddr": "三岔河镇",
"villageAddrNo": "220781100210",
"villageAddr": "东十一号村委会"
}]