【风控算法】二、SQL->Python->PySpark计算KS，AUC及PSI

【【风控算法】二、SQL->Python->PySpark计算KS，AUC及PSI】的更多相关文章

SQL->Python->PySpark计算KS，AUC及PSI

KS,AUC 和 PSI 是风控算法中最常计算的几个指标,本文记录了多种工具计算这些指标的方法. 生成本文的测试数据: import pandas as pd import numpy as np import pyspark.sql.functions as F from pyspark.sql.window import Window from pyspark.sql.types import StringType, DoubleType from pyspark.sql import Sp…

Python TF-IDF计算100份文档关键词权重

上一篇博文中,我们使用结巴分词对文档进行分词处理,但分词所得结果并不是每个词语都是有意义的(即该词对文档的内容贡献少),那么如何来判断词语对文档的重要度呢,这里介绍一种方法:TF-IDF. 一,TF-IDF介绍 TF-IDF(Term Frequency–Inverse Document Frequency)是一种用于资讯检索与文本挖掘的常用加权技术.TF-IDF是一种统计方法,用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度.字词的重要性随着它在文件中出现的次数成正比增加,…

（二）基于商品属性的相似商品推荐算法——Flink SQL实时计算实现商品的隐式评分

系列随笔: (总览)基于商品属性的相似商品推荐算法 (一)基于商品属性的相似商品推荐算法--整体框架及处理流程 (二)基于商品属性的相似商品推荐算法--Flink SQL实时计算实现商品的隐式评分 (三)基于商品属性的相似商品推荐算法--批量处理商品属性,得到属性前缀及完整属性字符串 (四)基于商品属性的相似商品推荐算法--推荐与评分高的商品属性相似的商品 (五)基于商品属性的相似商品推荐算法--算法调优及其他 2020.04.15 补充:协同过滤推荐算法.pptx 提取码:4tds 注:如果…

Python科学计算（二）windows下开发环境搭建（当用pip安装出现Unable to find vcvarsall.bat）

用于科学计算Python语言真的是amazing! 方法一:直接安装集成好的软件刚开始使用numpy.scipy这些模块的时候,图个方便直接使用了一个叫做Enthought的软件.Enthought是一家位于美国得克萨斯州首府奥斯汀的软件公司,主要使用Python从事科学计算工具的开发.Enthought里面包含了很多库,不需要你自己安装就可以直接使用了. 其实还又很多Python科学计算的集成软件,比如Python(x, y)和WinPython,个人感觉WinPython还是不错的,里面包…

SQL + Python 面试题：之二（难度：中等）

SQL + Python 面试题:之二(难度:中等)…

Python科学计算基础包-Numpy

一.Numpy概念 Numpy(Numerical Python的简称)是Python科学计算的基础包.它提供了以下功能: 快速高效的多维数组对象ndarray. 用于对数组执行元素级计算以及直接对数组执行数学运算的函数. 用于读写硬盘上基于数组的数据集的工具. 线性代数运算.傅里叶变换,以及随机数生成. 用于将C.C++.Fortran代码集成到Python的工具. 除了为Python提供快速的数组处理能力,Numpy在数据分析方面还有另外一个主要作用,即作为在算法之间传递数据的容器.对于数值…