Hadoop数据分析实例:P2P借款人信用风险实时监控模型设计

一提到hadoop相信熟悉IT领域或者经常关注互联网新闻的朋友都应该很熟悉了,当然,这种熟悉可能也只是听着名字耳熟,但并不知道它具体是什么东西,或者用来做什么。这些都不重要,重要的是你知道有hadoop这么个东西就可以了。

前段时间码了一些hadoop方面的分享文章,纯属个人的一点小经验,可能有的地方写的不好,将就下吧!今天要分享的这篇是转载的一篇大快搜索公众号上的文章,是关于时下比较热闹的P2P金融方面对hadoop应用的一个架构设计。

以下为原文:

P2P网络贷款(“peer-to-peer”)为中小企业和个人提供了便利的融资渠道。近年来,随着互联网金融的逐步发展,P2P网贷已成为时下炙手可热的互联网金融新模式。凭借着“高收益”的理财优势,各类P2P网贷平台呈现逐年增长的态势。目前,我国正常运行P2P平台数量已达近3000家,累计成交量约8000亿元。

然而,网贷业在爆发式增长的同时,也存在着重大风险。高利率庞氏骗局、投放假标的、平台自融、洗钱、资金挪用、虚报理财业绩、跑路等形形色色的平台问题不断发生。大平台逾期还款,小平台跑路的新闻屡见不鲜,给投资人造成巨大损失,造成信任危机。使投资者损失惨重。目前P2P网贷面临的最大风险是信用风险,信用风险已经成为P2P网贷行业发展的主要瓶颈,而借款人信用评估则是降低信用风险、提高企业风险管理水平的决定性因素。

国内外关于P2P网贷借款人信用评估方面的相关研究主要是从评估指标和评估方法两个方面进行探讨的。由于国外具有比较完备的数据共享征信系统,所以国外对于借款人信用评估的研究不仅包括平台本身的借款人信息,还包括政府信用系统、社交网络、购物行为等其他平台共享信息;而国内关于P2P网贷的研究大都只是介绍了目前主要P2P网贷平台的运营模式,或者仅针对特定平台进行风险研究,评估指标的采用没有一个统一的标准。

因此,虽然目前应用于借款人信用风险评估的指标多达几十种,但是除了少数针对借款人个人信息的指标相同外,不同P2P网贷平台采用的其他指标都不尽相同,在研究信用风险问题时,由于采用的指标不同,给出的结论也不尽相同,很难给出指标与风险之间明确的作用关系,而关于对借款人进行信用风险评估,需要哪些基本指标作为评估标准,才能说明评估的全面性、通用性、可信性的研究鲜有报道。

另一方面,随着数据量和数据种类的不断增加,P2P网贷平台的数据量已达到了PB、EB甚至 EB级别,而随着银行信用系统、其他共享系统等平台数据的不断接入,应用大数据技术进行平台数据管理和分析已是必然。目前绝大多数借款人信用风险评估研究都是基于静态分析给出的结果,然而数据是变化的,风险在变化中产生,从动态角度,对借款人信用风险进行实时分析、跟踪监测更具实际意义。

基于上述原因,本研究应用大数据技术,建立借款人信用风险实时监测模型和风控方案,为P2P网贷平台借款人信用风险评估提供大数据架构参考。

研究内容的整体框架如图1所示:

图1 研究整体框架

大数据实时监测模型架构如图2所示:

图2 大数据实时监测模型框架

 

研究技术路线如图3所示:

图3 研究技术路线

Hadoop数据分析实例:P2P借款人信用风险实时监控模型设计的更多相关文章

  1. P2P借款人信用风险实时监控模型设计

    P2P借款人信用风险实时监控模型设计 P2P网络贷款(“peer-to-peer”)为中小企业和个人提供了便利的融资渠道.近年来,随着互联网金融的逐步发展,P2P网贷已成为时下炙手可热的互联网金融新模 ...

  2. ActiveMQ消息队列和SignalR之日志实时监控及警报小实例

    主要技术: log4net-生成日志. ActiveMQ-生成日志的时候发送消息,并实时监控日志. SignalR-将ActiveMQ监控的日志实时显示到浏览器上,而不用刷新浏览器. 小实例介绍: 左 ...

  3. Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5)

    Hadoop YARN学习监控JVM和实时监控Ganglia.Ambari(5) 1.0 监控ResourceManager进程Java虚拟机中堆空间的特定部分. jstat工具,在JDK的bin目录 ...

  4. SpringBoot 2.0 + InfluxDB+ Sentinel 实时监控数据存储

    前言 阿里巴巴提供的控制台只是用于演示 Sentinel 的基本能力和工作流程,并没有依赖生产环境中所必需的组件,比如持久化的后端数据库.可靠的配置中心等.目前 Sentinel 采用内存态的方式存储 ...

  5. Spark+Kafka实时监控Oracle数据预警

    目标: 监控Oracle某张记录表,有新增数据则获取表数据,并推送到微信企业. 流程: Kafka实时监控Oracle指定表,获取该表操作信息(日志),使用Spark Structured Strea ...

  6. C#实现对文件目录的实时监控

    本文主要描述如何通过C#实现实时监控文件目录下的变化,包括文件和目录的添加,删除,修改和重命名等操作. 首先,我们需要对.net提供的FileSystemWatcher类有所了解.我有些懒,找了MSD ...

  7. Flask速成项目:Flask实现计算机资源的实时监控

    很多人都说使用Python开发WEB应用非常方便,那么对于WEB新手来说,到底有多方便呢?本文即将展示给你Python的魔法. 本文将通过一个实例:Flask实现计算机资源的实时监控,迅速带你入门Fl ...

  8. Spring Cloud Turbine微服务集群实时监控

    本文代码下载地址: https://gitlab.com/mySpringCloud/turbine SpringBoot版本:1.5.9.RELEASE (稳定版) SpringCloud版本:Ed ...

  9. Python中Celery 的基本用法以及Django 结合 Celery 的使用和实时监控进程

    celery是什么 1 celery是一个简单,灵活且可靠的,处理大量消息的分布式系统 2 专注于实时处理的异步任务队列 3 同时也支持任务调度 执行流程 Celery 基本使用 tasks.py i ...

随机推荐

  1. :after和:before伪元素的解释

    :after  是清除浮动  让其高度和内容高度相同 :before   是防止上边塌陷 关注微信小程序

  2. 【Python】sql-内连接,左连接,右连接,union

    内连接: mysql> select * from book_wangjing as book_1 inner join user_wangjing as user_1 on book_1.id ...

  3. maven install中依赖关系打包failed

    maven 中maven dependencies中依赖出现了项目,无法打包 ,出现的错误如图.说明:依赖的项目为project-dao  打包的项目为project-service  都在proje ...

  4. hadoop day 1

    hadoop是什么? 解决的问题: 海量数据的存储(HDFS):供hbase,mapreduce进行处理 海量数据的分析(MapReduce) 资源管理调度(YARN) 搜索引擎: 爬虫系统+站内搜索 ...

  5. 【转载】 强化学习(五)用时序差分法(TD)求解

    原文地址: https://www.cnblogs.com/pinard/p/9529828.html ------------------------------------------------ ...

  6. Java中的comparable接口和Comparator接口的区别

    一.comparable和Comparator的区别 1.Comparable和Comparator都是用来实现集合中元素的比较.排序的. 2.Comparable是在类内部定义的方法实现的排序,位于 ...

  7. 百练1678-整数的个数-2015正式A题

    A:整数的个数 总时间限制:  1000ms 内存限制:  65536kB 描述 给定k(1< k < 100)个正整数,其中每个数都是大于等于1,小于等于10的数.写程序计算给定的k个正 ...

  8. vue拓展题

    本文档基于vue-cli技术栈总结了 vue-cli工程 vue.js核心知识 vue-router路由 vuex状态管理器 axios等http请求 移动端适配 Tab切换等常用功能 vue与原生a ...

  9. NodeServices

    NodeServices https://www.cnblogs.com/stulzq/p/10535310.html 一.前言 在 .NET Framework 时,我们可以通过V8.NET等组件来 ...

  10. CF使用TGP下载后,分卷文件损坏的解决方法

    首先从游戏的列表删除游戏(安装失败出现分卷文件损坏的游戏) 然后进入游戏重新,继续找到该游戏(安装失败的游戏) 点击下载游戏!不会重新下载的,之后下载一些失败的文件,不会花费多少时间,慢慢等待即可 之 ...