数据防泄密(DLP)近几年已经成为国内非常热门的关键词. 目前市场上DLP产品主要可以分为三大类,各类产品都来源于不同的技术体系,防护效果也各有优缺点. 第一类,以监控审计为主,对进出的数据进行过滤,并设置一定的响应措施,包括阻断.警告.审计等; 第二类,以文档加密为主,对企业认为有价值的文档进行加密,并授予一定的认证体系及权限控制; 第三类,以边界防护为主,在企业认为存在风险的边界点设置防护措施,经过边界的数据采用策略对应的手段或是加密或是授权,以达到信息在安全区域内外都受控的目的. 目前公司…
在企业信息化过程中.大量的企业重要图纸和资料都是以电子文件的方式存在.为了避免内部关键数据的外泄,採取了多种方式:设计部门的门禁管制.防火墙.禁止计算机的USB接口等等. 可是泄密问题还是时有发生,原因是电子文档的外泄途径太多.攻克了外部人员非法訪问的问题.但不能根本解决电子文档内部人员造成的二次传播问题,靠"堵"的方法是难以保护数据安全的.      针对客户的需求我们开发了一套PDF数据防扩散系统软件.它是一个对PDF文件设定阅读次数.阅读期限.打印次数的软件系统. 在系统部署上,…
这段时间做新的Android项目的client和和REST API通讯框架架构设计.使用了非常多新技术,终于的方案也相当简洁优雅.client仅仅须要传Java对象,server端返回json字符串,自己主动解析成Java对象, 无状态安全验证基于JWT实现,JWT规范的细节能够參考我前面的文章. JWT的token和数据防篡改签名统一放在HTTP Header中.这样就实现了对请求内容和返回结果的无侵入性,server端也能够在全局过滤器中统一处理安全验证. Androidclient使用了V…
在数据防泄漏软件,通常会禁止 PrintScreen 键,防止通过截屏来将数据保存为图片而导致泄密. 这类软件如果想要实现是比较简单的,但是想要将功能做的强大些,还是需要下功夫的.以前使用过一款数据防泄漏的软件,其中就有这个功能,它不但能禁止掉 PrintScreen 键,还能禁止其他的专业截屏软件.同样,禁止截屏软件的方法难点在于兼容性,就是不要影响正常的软件的运行. ​       这里介绍一些如何禁止 PrintScreen 键.其实很简单,只要安装低级键盘钩子(WH_KEYBOARD_L…
//EF批量添加数据性能慢的问题的解决方案 public ActionResult BatchAdd() { using (var db = new ToneRoad.CEA.DbContext.DbContext()) { //**********************第一种解决方案 直接使用sql********************** string sqls = ""; ; i < ; i++) { sqls += "sql" + i; } db.…
Catalyst揭秘 Day8 Final 外部数据源和缓存系统 今天是Catalyst部分的收官,主要讲一些杂项内容. 外部数据源处理 什么叫外部数据源,是SparkSql自己支持的一些文件格式,以及一些自己自定义格式的文件开发. 让我们从文件的读取api开始,可以看到最终会创建一个DataFrame,当中比较关键的是relation方法. 首先,会以反射方式获取provider. 我们以json文件为例,其provider为json.DefaultSource.可以看到继承自HadoopFs…
AI,大数据,复杂系统 最精 40本大书单 原创 2017-10-30 Peter 混沌巡洋舰 如果这篇文的题目变成最全书单,那么这篇文会变得又臭又长,这个年代,关于人工智能和大数据的书,没有一万本也有一千本,而这里列出的40本,则是精选过的,不敢说每一本都字字珠玑,但这个书单保证没有一本水书.废话不说,赶快上车,先放思维导图,再一本本的简单说说. 书单分成8部分,其中的数字代表我对这一系列的书的推荐程度. 先说经典书的部分 终极算法:机器学习和人工智能如何重塑世界  这本书的名字,显示着作者试…
很难想象没有数据的ERP是什么样子的.然而,实际情况又是如何的呢? 根据AMT的研究,在那些上线不成功或者上线后掉线的案例中,有高达70%的项目都有一个共同的直接原因,那就是在数据上出了问题.有的是在数据还没有准备好,诸多数据不准确.不完整的情况下就仓促上线:有的则是业务没有理顺,出现一数多据的情况,不知道该相信哪个数据:还有的是上线运行后操作人员未及时更新业务数据导致系统内的数据失真等等,虽然数据问题的表现不尽相同,但最终的结果都是一样的,那就是大家忙了数月得到的是一个没有数据的ERP系统.…
1.Spark Streaming功能介绍 1)定义 Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data streams 2.NC服务安装并运行Spark Streaming 1)在线安装nc命令 yum install -y nc 2)运行Spark Streaming…
[源码解析] PyTorch 流水线并行实现 (3)--切分数据和运行时系统 目录 [源码解析] PyTorch 流水线并行实现 (3)--切分数据和运行时系统 0x00 摘要 0x01 分割小批次 1.1 使用 1.2 PyTorch 基础 1.2.1 chunk 1.2.2 cat 1.3 分割 & 聚合 1.4 剖析 0x02 运行 2.1 Stream 2.2 Task 2.3 Worker 2.4 生成 worker 2.5 使用 2.5.1 何时生成worker 2.5.2 剖析 2…