参见 基于中文人员特征的性别判定方法  理论,告诉一个名字,来猜猜是男是女,多多少少有点算命的味道。此命题是一种有监督的学习方法,从标注好的训练数据学习到一个预测模型,然后对未标注的数据进行预测。

1、首先,有监督的学习方法,就需要这样一批标注数据:大量的人名,以及其性别。训练数据集参考 SofaSofa-数据科学社区 及其它网页爬取的数据:

2、对下载的数据进行清洗及特征提取,其流程如下:

  • 根据姓氏辞典把姓氏去掉,留下不带姓氏的名字;
  • 参见上一篇论文,特征有三个维度,分别用X1,X2,X3(=X1X2)表示。如果是单字名,则X1为空格,X2为单字名,X3就是前两者拼接X1X2,清洗后的数据如下,gname (1:男,0:女)
  • 数据清洗示例代码:
  • remove(list = ls())
    space_path <- c("E:\\Teld_Work\\15_UserProfile\\srccode")
    setwd(space_path)
    Sys.setlocale(category = "LC_ALL",local="chinese") ##读取本地数据
    ##数据下载地址:http://sofasofa.io/competition.php?id=3& 及其它网络地址爬取
    tbl1 <- read.table(file = "train.txt",header = TRUE,sep = ",",fill = TRUE,encoding = "UTF-8")
    df <- data.frame(tbl1) ##将数据转入SqlServer进行清洗
    chl <- odbcConnect("testsql", uid = "sqladmin", pwd = "123456a?")
    sqlSave(chl,df,tablename = "U_demo")
    close(chl) ##获取清洗完成的数据
    library(RODBC)
    chl <- odbcConnect("testsql", uid = "sqladmin", pwd = "123456a?")
    df <- sqlQuery(chl,"select fn1,fn2,fn,gname from U_SexByNameSample")
    close(chl) ##将数据转存为本地rda文件
    save(df,file = "sexbyname.rda")
  • 始于贝叶斯公式,对于名字X1X2,工程实现中,在预测阶段,可能会遇到一些特征在训练样本中没有,则需要做一下平滑(比如分子加一个很小的值),不然男女概率都为0,无法预测。
    • P(男|X1X2)=P(男)*P(X1|男)*P(X2|男)*P(X1X2|男)
    • P(女|X1X2)=P(女)*P(X1|女)*P(X2|女)*P(X1X2|女)
    • 特别注意的是,P(X1|男)表示的是训练样本中,男性用户中,名字第一个字出现X1的概率,如果第二个字出现X1,不算在这里。
  • 示例代码如下:
  • remove(list = ls())
    space_path <- c("E:\\Teld_Work\\15_UserProfile\\srccode")
    setwd(space_path) ##姓名拆分
    buildVe <- function(name)
    {
    len <- nchar(name)
    f2 <- substr(name,len,len)
    f1 <- c("")
    if (len > 2)
    {
    f1 <- substr(name,len-1,len-1)
    }
    fn <- paste0(f1,f2) return(c(f1,f2,fn))
    } #模型
    naive.bayes.prediction <- function(name)
    {
    if (exists("sexDf") == FALSE)
    {
    load("sexbyname.rda")
    } smv <- 0.001; #解决特征在样本中没有的场景
    vec <- buildVe(name); #计算先验概率
    sex.M <- (sum(sexDf[,4] == "") + smv)/ length(sexDf[,4]);
    sex.F <- (sum(sexDf[,4] == "") + smv)/ length(sexDf[,4]); # 计算 name 是男性概率
    pred.M <-
    (sum((sexDf[,1] == vec[1]) & (sexDf[,4] == "")) + smv) / sum(sexDf[,4] == "") *
    (sum((sexDf[,2] == vec[2]) & (sexDf[,4] == "")) + smv) / sum(sexDf[,4] == "") *
    (sum((sexDf[,3] == vec[3]) & (sexDf[,4] == "")) + smv) / sum(sexDf[,4] == "") *
    sex.M; # 计算 name 是女性概率
    pred.F <-
    (sum((sexDf[,1] == vec[1]) & (sexDf[,4] == ""))+ smv) / sum(sexDf[,4] == "") *
    (sum((sexDf[,2] == vec[2]) & (sexDf[,4] == ""))+ smv) / sum(sexDf[,4] == "") *
    (sum((sexDf[,3] == vec[3]) & (sexDf[,4] == ""))+ smv) / sum(sexDf[,4] == "") *
    sex.F; ## return(list(post.pred.M = pred.M,
    ## post.pred.F = pred.F,
    ## prediction = ifelse(pred.M >= pred.F, "男", "女")));
    return(paste0("pred.M:",pred.M,",pred.F:",pred.F,"; --prediction:",ifelse(pred.M >= pred.F, "男", "女")))
    }
  • 在实际应用中,这个模型适合于我们知道用户姓名但是不知道性别的情况,比如某电商网站,一般情况用户订单中填的收货人姓名都是真实的,注册信息中可能带有性别但是不靠谱可能是乱填的,随便写俩人员通过模型预估结果如下:
  • > naive.bayes.prediction("刘德华")
    [1] "pred.M:2.03045549425324e-09,pred.F:1.68712051662787e-11; --prediction:男"
    > naive.bayes.prediction("张学友")
    [1] "pred.M:2.24279371989392e-11,pred.F:2.30827962001087e-16; --prediction:男"
    > naive.bayes.prediction("金星")
    [1] "pred.M:6.28564627624871e-09,pred.F:7.02613664124613e-10; --prediction:男"
    > naive.bayes.prediction("李玉刚")
    [1] "pred.M:6.06865747851669e-11,pred.F:1.22259348253025e-15; --prediction:男"
    > naive.bayes.prediction("李冰冰")
    [1] "pred.M:4.61521485457943e-11,pred.F:1.35846175847352e-10; --prediction:女"
    > naive.bayes.prediction("章子怡")
    [1] "pred.M:4.51645469372974e-09,pred.F:5.16427477696052e-09; --prediction:女"
    >

R基于Bayes理论实现中文人员特性的性别判定的更多相关文章

  1. R学习:《机器学习与数据科学基于R的统计学习方法》中文PDF+代码

    当前,机器学习和数据科学都是很重要和热门的相关学科,需要深入地研究学习才能精通. <机器学习与数据科学基于R的统计学习方法>试图指导读者掌握如何完成涉及机器学习的数据科学项目.为数据科学家 ...

  2. Chinese-Text-Classification,用卷积神经网络基于 Tensorflow 实现的中文文本分类。

    用卷积神经网络基于 Tensorflow 实现的中文文本分类 项目地址: https://github.com/fendouai/Chinese-Text-Classification 欢迎提问:ht ...

  3. 基于LeNet网络的中文验证码识别

    基于LeNet网络的中文验证码识别 由于公司需要进行了中文验证码的图片识别开发,最近一段时间刚忙完上线,好不容易闲下来就继上篇<基于Windows10 x64+visual Studio2013 ...

  4. 基于MMSeg算法的中文分词类库

    原文:基于MMSeg算法的中文分词类库 最近在实现基于lucene.net的搜索方案,涉及中文分词,找了很多,最终选择了MMSeg4j,但MMSeg4j只有Java版,在博客园上找到了*王员外*(ht ...

  5. Atitit atiplat_reader 基于url阅读器的新特性

    Atitit atiplat_reader 基于url阅读器的新特性 1.1. feature功能特性1 1.2. note1 1.1. feature功能特性 支持url数据源,实际就是只支持一层连 ...

  6. 基于深度学习的中文语音识别系统框架(pluse)

    目录 声学模型 GRU-CTC DFCNN DFSMN 语言模型 n-gram CBHG 数据集 本文搭建一个完整的中文语音识别系统,包括声学模型和语言模型,能够将输入的音频信号识别为汉字. 声学模型 ...

  7. 基于Text-CNN模型的中文文本分类实战 流川枫 发表于AI星球订阅

    Text-CNN 1.文本分类 转眼学生生涯就结束了,在家待就业期间正好有一段空闲期,可以对曾经感兴趣的一些知识点进行总结. 本文介绍NLP中文本分类任务中核心流程进行了系统的介绍,文末给出一个基于T ...

  8. 基于Text-CNN模型的中文文本分类实战

    Text-CNN 1.文本分类 转眼学生生涯就结束了,在家待就业期间正好有一段空闲期,可以对曾经感兴趣的一些知识点进行总结. 本文介绍NLP中文本分类任务中核心流程进行了系统的介绍,文末给出一个基于T ...

  9. 《基于SD-SEIR模型的实验室人员不安全行为传播研究》

    My Focus:基于SD-SEIR模型的实验室人员不安全行为的传播; 建模与实验仿真 Title: Study on Porpagation of Unsafe Bhavior of Laborat ...

随机推荐

  1. 元组类型&字典类型

    一.元组 元组:是一个不可变的列表 用途:当需要记录多个同种属性的值,并且只有读没有改的需求是,这时候应该用到元组 定义方式:在()内用逗号费隔开多个任意类型的元素 ***注意***     当元组只 ...

  2. 2017第八届蓝桥杯C/C++ B组省赛-等差素数列

    标题:等差素数列 2,3,5,7,11,13,....是素数序列. 类似:7,37,67,97,127,157 这样完全由素数组成的等差数列,叫等差素数数列. 上边的数列公差为30,长度为6. 200 ...

  3. MySQL中的运算符和时间运算

    一.MySQL中运算符的分类 算术运算符,比较运算符,逻辑运算符,按位运算符 二.算数运算符 符号                            作用 + 加法   - 减法   * 乘法   ...

  4. [LeetCode&Python] Problem 697. Degree of an Array

    Given a non-empty array of non-negative integers nums, the degree of this array is defined as the ma ...

  5. Unity 3D中ToLua-UGUI使用说明、导入Unity流程、制作登陆界面

    ToLua制作登录界面 本文提供全流程,中文翻译.Chinar坚持将简单的生活方式,带给世人!(拥有更好的阅读体验 -- 高分辨率用户请根据需求调整网页缩放比例) 请支持大神开发者:骏擎CP,蒙哥等奔 ...

  6. MyBatis like函数使用注意事项

    百分号后面必须要加上空格,不然会将后面的字符串全部都黏在一起,导致sql语句运行报错

  7. JS滚轮mousewheel事件和DOMMouseScroll事件

    滚轮事件的兼容性差异有些不拘一格,不是以往的IE8-派和其他派,而是FireFox派和其他派. 包括IE6在内的浏览器是使用onmousewheel,而FireFox浏览器一个人使用DOMMouseS ...

  8. ODOO v10.0 自动生成财务凭证的科目设置

    ODOO v10.0 自动生成财务凭证的科目设置 可以在产品类别及产品档案里设置,建议在产品类别下设置,方便维护. 项目 设置为(具体科目以公司科目表为主) 对应作用业务 Income Account ...

  9. spring模拟ioc

    非spring 开发 public class UserService { private UserDao userDao=new UserDaoImpl(); public void addUser ...

  10. RPC简介及框架选择

    简单介绍RPC协议及常见框架,对比传统restful api和RPC方式的优缺点.常见RPC框架,gRPC及序列化方式Protobuf等 HTTP协议 http协议是基于tcp协议的,tcp协议是流式 ...