怎样借助Python爬虫给宝宝起个好名字--python 学习
每个人一生中都会遇到一件事情,在事情出现之前不会关心,但是事情一旦来临就发现它极其重要,并且需要在很短的时间内做出重大决定,那就是给自己的新生宝宝起个名字。
因为要在孩子出生后两周内起个名字(需要办理出生证明了),估计很多人都像我一样,刚开始是很慌乱的,虽然感觉汉字非常的多随便找个字做名字都行,后来才发现真不是随便的事情,怎么想都发现不合适,于是到处翻词典、网上搜、翻唐诗宋词、诗经、甚至武侠小说,然而想了很久得到的名字,往往却受到家属的意见和反对,比如不顺口、和亲戚重名重音等问题,这样就陷入了重复寻找和否定的循环,越来越混乱。
于是我们再次回到网上各种搜索,找到很多网上给出的“男宝宝好听的名字大全”之类的文章,这些文章一下子给出几百上千个名字,看的眼花缭乱没法使用。而有不少的测名字的网站或者APP,输入名字能给出八字或者五格的评分,这样的功能感觉还挺好的能给个参考,然而要么我们需要一个个名字的输入进行测试、要么这些网站或者APP自身的名字很少、要么不能满足我们的需求比如限定字、要么就开始收费,到最后也找不到一个好用的。
于是我想做这么一个程序:
- 主要的功能,是给出批量名字提供参考,这些名字是结合宝宝的生辰八字算出来的;
- 自己可以扩充名字库,比如网上发现了一批诗经里的好名字,想看看怎么样,添加进去就能用;
- 可以限定名字的使用字,比如有的家族谱有限定,当前是“国”字辈,名字中必须有“国”字;
- 名字列表可以给出评分,这样倒排后就可以从高分往低分来看名字;
通过这种方式可以得到一份符合自己孩子生辰八字、自己的家谱限制、以及自己喜好的名字列表,并且该列表已经给出了分数用于参考,以此为基准我们可以挨个琢磨找出心仪的名字。当然如果有新的想法,随时可以把新的名字添加到词库里面,进行重新计算。
程序的代码结构

代码介绍:
- /chinese-name-score 代码根目录
- /chinese-name-score/main 代码目录
- /chinese-name-score/main/dicts 词典文件目录
- /chinese-name-score/main/dicts/names_boys_double.txt 词典文件,男孩的双字名字
- /chinese-name-score/main/dicts/names_boys_single.txt 词典文件,男孩的单字名字
- /chinese-name-score/main/dicts/names_girls_single.txt 词典文件,女孩的双字名字
- /chinese-name-score/main/dicts/names_grils_double.txt 词典文件,女孩的单字名字
- /chinese-name-score/main/outputs 输出数据目录
- /chinese-name-score/main/outputs/names_girls_source_wxy.txt 输出的示例文件
- /chinese-name-score/main/scripts 一些对词典文件做预处理的脚本
- /chinese-name-score/main/scripts/unique_file_lines.py 设定词典文件,对词典中的名字去重和去空白行
- /chinese-name-score/main/sys_config.py 程序的系统配置,包含爬取得目标URL、词典文件路径
- /chinese-name-score/main/user_config.py 程序的用户配置,包括宝宝的年月日时分性别等设定
- /chinese-name-score/main/get_name_score.py 程序的运行入口
使用代码的方法:
- 如果没有限定字,就找到词典文件names_boys_double.txt和names_grils_double.txt,可以在这里添加自己找到的一些名字列表,按行分割添加在最后即可;
- 如果有限定字,就找到词典文件names_boys_single.txt和names_girls_single.txt,在这里添加自己预先中意的单个字列表,按行分割添加在最后即可;
- 打开user_config.py,进行配置,配置项见下一节;
- 运行脚本get_name_score.py
- 在outputs目录中,查看自己的产出文件,可以复制到Excel,进行排序等操作;
程序的配置入口
程序的配置如下:
Python
"""
在这里写好配置
"""
setting = {}
# 限定字,如果配置了该值,则会取用单字字典,否则取用多字字典
setting["limit_world"] = "国"
# 姓
setting["name_prefix"] = "李"
# 性别,取值为 男 或者 女
setting["sex"] = "男"
# 省份
setting["area_province"] = "北京"
# 城市
setting["area_region"] = "海淀"
# 出生的公历年份
setting['year'] = "2017"
# 出生的公历月份
setting['month'] = "1"
# 出生的公历日子
setting['day'] = "11"
# 出生的公历小时
setting['hour'] = "11"
# 出生的公历分钟
setting['minute'] = "11"
# 结果产出文件名称
setting['output_fname'] = "names_girls_source_xxx.txt"
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
|
# coding:GB18030
"""
在这里写好配置
"""
setting = {}
# 限定字,如果配置了该值,则会取用单字字典,否则取用多字字典
setting["limit_world"] = "国"
# 姓
setting["name_prefix"] = "李"
# 性别,取值为 男 或者 女
setting["sex"] = "男"
# 省份
setting["area_province"] = "北京"
# 城市
setting["area_region"] = "海淀"
# 出生的公历年份
setting['year'] = "2017"
# 出生的公历月份
setting['month'] = "1"
# 出生的公历日子
setting['day'] = "11"
# 出生的公历小时
setting['hour'] = "11"
# 出生的公历分钟
setting['minute'] = "11"
# 结果产出文件名称
setting['output_fname'] = "names_girls_source_xxx.txt"
|
根据配置项setting[“limit_world”],系统自动来决定选用单字词典还是多字词典:
- 如果设置了该项,比如等于“国”,那么程序会组合所有的单字为名字用于计算,比如国浩和浩国两个名字都会计算;
- 如果不设置该项,保持空字符串,则程序只会读取*_double.txt的双字词典
程序的原理
这是一个简单的爬虫。大家可以打开http://life.httpcn.com/xingming.asp网站查看,这是一个POST表单,填写需要的参数,点提交,就会打开一个结果页面,结果页面的最下方包含了八字分数和五格分数。
如果想得到分数,就需要做两件事情,一是爬虫自动提交表单,获取结果页面;二是从结果页面提取分数;
对于第一件事情,很简单,urllib2即可实现(代码在/chinese-name-score/main/get_name_score.py):
Python
req = urllib2.urlopen(sys_config.REQUEST_URL, post_data)
content = req.read()
|
1
2
3
|
post_data = urllib.urlencode(params)
req = urllib2.urlopen(sys_config.REQUEST_URL, post_data)
content = req.read()
|
这里的params是个参数dict,使用这种方式,就进行了POST带数据的提交,然后从content得到了结果数据。
params的参数设定如下:
Python
# 日期类型,0表示公历,1表示农历
params['data_type'] = "0"
params['year'] = "%s" % str(user_config.setting["year"])
params['month'] = "%s" % str(user_config.setting["month"])
params['day'] = "%s" % str(user_config.setting["day"])
params['hour'] = "%s" % str(user_config.setting["hour"])
params['minute'] = "%s" % str(user_config.setting["minute"])
params['pid'] = "%s" % str(user_config.setting["area_province"])
params['cid'] = "%s" % str(user_config.setting["area_region"])
# 喜用五行,0表示自动分析,1表示自定喜用神
params['wxxy'] = "0"
params['xing'] = "%s" % (user_config.setting["name_prefix"])
params['ming'] = name_postfix
# 表示女,1表示男
if user_config.setting["sex"] == "男":
params['sex'] = "1"
else:
params['sex'] = "0"
params['act'] = "submit"
params['isbz'] = "1"
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
params = {}
# 日期类型,0表示公历,1表示农历
params['data_type'] = "0"
params['year'] = "%s" % str(user_config.setting["year"])
params['month'] = "%s" % str(user_config.setting["month"])
params['day'] = "%s" % str(user_config.setting["day"])
params['hour'] = "%s" % str(user_config.setting["hour"])
params['minute'] = "%s" % str(user_config.setting["minute"])
params['pid'] = "%s" % str(user_config.setting["area_province"])
params['cid'] = "%s" % str(user_config.setting["area_region"])
# 喜用五行,0表示自动分析,1表示自定喜用神
params['wxxy'] = "0"
params['xing'] = "%s" % (user_config.setting["name_prefix"])
params['ming'] = name_postfix
# 表示女,1表示男
if user_config.setting["sex"] == "男":
params['sex'] = "1"
else:
params['sex'] = "0"
params['act'] = "submit"
params['isbz'] = "1"
|
第二件事情,就是从网页中提取需要的分数,我们可以使用BeautifulSoup4来实现,其语法也很简单:
Python
full_name = get_full_name(name_postfix)
# print soup.find(string=re.compile(u"姓名五格评分"))
for node in soup.find_all("div", class_="chaxun_b"):
node_cont = node.get_text()
if u'姓名五格评分' in node_cont:
name_wuge = node.find(string=re.compile(u"姓名五格评分"))
result_data['wuge_score'] = name_wuge.next_sibling.b.get_text()
if u'姓名八字评分' in node_cont:
name_wuge = node.find(string=re.compile(u"姓名八字评分"))
result_data['bazi_score'] = name_wuge.next_sibling.b.get_text()
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
soup = BeautifulSoup(content, 'html.parser', from_encoding="GB18030")
full_name = get_full_name(name_postfix)
# print soup.find(string=re.compile(u"姓名五格评分"))
for node in soup.find_all("div", class_="chaxun_b"):
node_cont = node.get_text()
if u'姓名五格评分' in node_cont:
name_wuge = node.find(string=re.compile(u"姓名五格评分"))
result_data['wuge_score'] = name_wuge.next_sibling.b.get_text()
if u'姓名八字评分' in node_cont:
name_wuge = node.find(string=re.compile(u"姓名八字评分"))
result_data['bazi_score'] = name_wuge.next_sibling.b.get_text()
|
通过该方法,就能对HTML解析,提取八字和五格的分数。
运行结果事例
2/1287 李国铁 姓名八字评分=61 姓名五格评分=89.7 总分=150.7
3/1287 李国晶 姓名八字评分=21 姓名五格评分=81.6 总分=102.6
4/1287 李鸣国 姓名八字评分=21 姓名五格评分=90.3 总分=111.3
5/1287 李柔国 姓名八字评分=64 姓名五格评分=78.3 总分=142.3
6/1287 李国经 姓名八字评分=21 姓名五格评分=89.8 总分=110.8
7/1287 李国蒂 姓名八字评分=22 姓名五格评分=87.2 总分=109.2
8/1287 李国登 姓名八字评分=21 姓名五格评分=81.6 总分=102.6
9/1287 李略国 姓名八字评分=21 姓名五格评分=83.7 总分=104.7
10/1287 李国添 姓名八字评分=21 姓名五格评分=81.6 总分=102.6
11/1287 李国天 姓名八字评分=22 姓名五格评分=83.7 总分=105.7
12/1287 李国田 姓名八字评分=22 姓名五格评分=93.7 总分=115.7
|
1
2
3
4
5
6
7
8
9
10
11
12
|
1/1287 李国锦 姓名八字评分=61.5 姓名五格评分=78.6 总分=140.1
2/1287 李国铁 姓名八字评分=61 姓名五格评分=89.7 总分=150.7
3/1287 李国晶 姓名八字评分=21 姓名五格评分=81.6 总分=102.6
4/1287 李鸣国 姓名八字评分=21 姓名五格评分=90.3 总分=111.3
5/1287 李柔国 姓名八字评分=64 姓名五格评分=78.3 总分=142.3
6/1287 李国经 姓名八字评分=21 姓名五格评分=89.8 总分=110.8
7/1287 李国蒂 姓名八字评分=22 姓名五格评分=87.2 总分=109.2
8/1287 李国登 姓名八字评分=21 姓名五格评分=81.6 总分=102.6
9/1287 李略国 姓名八字评分=21 姓名五格评分=83.7 总分=104.7
10/1287 李国添 姓名八字评分=21 姓名五格评分=81.6 总分=102.6
11/1287 李国天 姓名八字评分=22 姓名五格评分=83.7 总分=105.7
12/1287 李国田 姓名八字评分=22 姓名五格评分=93.7 总分=115.7
|
有了这些分数,我们就可以进行排序,是一个很实用的参考资料。
友情提示
- 分数跟很多因素有关,比如出生时刻、已经限定的字、限定字的笔画等因素,这些条件决定了有些名字不会分数高,不要受此影响,找出相对分数高的就可以了;
- 目前程序只能抓取一个网站的内容,地址是http://life.httpcn.com/xingming.asp
- 本列表仅供参考,看过一些文章,历史上很多名人伟人,姓名八字评分都非常低但是都建功立业,名字确实会有些影响但有时候朗朗上口就是最好的;
- 从本列表中选取名字之后,可以在百度、人人网等地方查查,以防有些负面的人重名、或者起这个名字的人太多了烂大街;
- 八字分数是中国传承,五格分数是日本人近代发明的,有时候也可以试试西方的星座起名法,并且奇怪的是八字和五个分数不同网站打分相差很大,更说明了这东西只供参考;
本文的代码已上传到github:https://github.com/peiss/chinese-name-score
本文地址:http://www.crazyant.net/2076.html,转载请注明来源。
怎样借助Python爬虫给宝宝起个好名字--python 学习的更多相关文章
- 怎样借助Python爬虫给宝宝起个好名字
每个人一生中都会遇到一件事情,在事情出现之前不会关心,但是事情一旦来临就发现它极其重要,并且需要在很短的时间内做出重大决定,那就是给自己的新生宝宝起个名字.因为要在孩子出生后两周内起个名字(需要办理出 ...
- Python爬虫从入门到进阶(1)之Python概述及爬虫入门
一.Python 概述 1.计算机语言概述 (1).语言:交流的工具,沟通的媒介 (2).计算机语言:人跟计算机交流的工具 (3).Python是计算机语言的一种 2.Python编程语言 代码:人类 ...
- Python爬虫个人记录(四)利用Python在豆瓣上写一篇日记
涉及关键词:requests库 requests.post方法 cookies登陆 version 1.5(附录):使用post方法登陆豆瓣,成功! 缺点:无法获得登陆成功后的cookie,要使用js ...
- 1,Python爬虫环境的安装
前言 很早以前就听说了Python爬虫,但是一直没有去了解:想着先要把一个方面的知识学好再去了解其他新兴的技术. 但是现在项目有需求,要到网上爬取一些信息,然后做数据分析.所以便从零开始学习Pytho ...
- 《Python爬虫学习系列教程》学习笔记
http://cuiqingcai.com/1052.html 大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把一些学习的笔记总结下来,还记录了一些自己 ...
- 如何快速赚钱:Python爬虫
Python爬虫和毛爷爷的关系:Python是最简单最流行的开发语言,毛爷爷是最招人喜欢的人民币.如果你学会了Python爬虫,就可以挣更多的毛爷爷. 大家发现没有,实际上Python早已经火起来了, ...
- Python爬虫——Python 岗位分析报告
前两篇我们分别爬取了糗事百科和妹子图网站,学习了 Requests, Beautiful Soup 的基本使用.不过前两篇都是从静态 HTML 页面中来筛选出我们需要的信息.这一篇我们来学习下如何来获 ...
- Python爬虫与数据分析之爬虫技能:urlib库、xpath选择器、正则表达式
专栏目录: Python爬虫与数据分析之python教学视频.python源码分享,python Python爬虫与数据分析之基础教程:Python的语法.字典.元组.列表 Python爬虫与数据分析 ...
- Python爬虫与数据分析之模块:内置模块、开源模块、自定义模块
专栏目录: Python爬虫与数据分析之python教学视频.python源码分享,python Python爬虫与数据分析之基础教程:Python的语法.字典.元组.列表 Python爬虫与数据分析 ...
随机推荐
- visual studio code 编辑器的配置及快捷键等, vscode, csc
visual studio code (vsc) 对开发node.js,javascript,python,html,golang等比较友好,同时支持git浏览及分屏对比,运行速度快,所以是值得一用的 ...
- 主成分分析 PCA算法原理
对同一个体进行多项观察时,必定涉及多个随机变量X1,X2,…,Xp,它们都是的相关性, 一时难以综合.这时就需要借助主成分分析 (principal component analysis)来概括诸多信 ...
- 支持向量机(SVM)、支持向量回归(SVR)
1.支持向量机( SVM )是一种比较好的实现了结构风险最小化思想的方法.它的机器学习策略是结构风险最小化原则 为了最小化期望风险,应同时最小化经验风险和置信范围) 支持向量机方法的基本思想: ( 1 ...
- 机器学习理论基础学习15---条件随机场(CRF)
一.CRF的由来HMM->MEMM->CRF 二.HMM到MEMM MEMM打破了HMM的观测条件独立假设 三.MEMM到CRF CRF克服了MEMM的label bias problem ...
- Locust性能测试5-参数化批量注册
前言 实现场景:所有并发虚拟用户共享同一份测试数据,并且保证虚拟用户使用的数据不重复. 例如,模拟10用户并发注册账号,总共有100个手机号,要求注册账号不重复,注册完毕后结束测试 准备数据 虚拟用户 ...
- linux rz sz
对于经常使用Linux系统的人员来说,少不了将本地的文件上传到服务器或者从服务器上下载文件到本地,rz / sz命令很方便的帮我们实现了这个功能,但是很多Linux系统初始并没有这两个命令.今天,我们 ...
- 20154312 曾林 Exp4恶意软件分析
写在前面 如果把恶意软件比作罪犯的话,怎么看这次实验? 实验目的:以后能够在茫茫人海中找到罪犯. 实验过程:现在以及抓到了一个罪犯,把他放到茫茫人海里去,看看他和普通人有啥区别.这些区别就是罪犯的特征 ...
- Filter过滤器原理和登录实现
Filter过滤器API Servlet过滤器API包含了3个接口,它们都在javax.servlet包中,分别是Filter接口.FilterChain接口和FilterConfig接口. ...
- nginx 配置https没有ssl_module以及一些错误
一:开始Nginx的SSL模块 1.1 Nginx如果未开启SSL模块,配置Https时提示错误 1 nginx: [emerg] the "ssl" parameter requ ...
- bzoj3524 [Poi2014]Couriers/2223 [Coci 2009]PATULJCI
题目链接1 题目链接2 主席树模板题 两题有细节不同 #include<algorithm> #include<iostream> #include<cstdlib> ...