1.配电gis线路导出数据: select r.name 线路名称,r.run_status 运行状态,r.voltage_level 电压等级,r.manager_depart 管理部门,r.belong_substation 所属厂站 from ods_sc.T_D2_PD_FEEDER r where r.gsdm='040100' and r.run_status <>'退运' and r.voltage_level='10kV'and r.manager_depart not in …
https://zhuanlan.zhihu.com/p/64418072 源数据常常包含各种差错值,为了进行下一步的分析,我们必须先找出并更正这些差错,做这些工作几乎不会有什么快乐感可言,但却往往需要耗费很多精力.如果利用数据准备工具就能够发现这些数据质量问题,我们就可以节省大量时间. PowerQuery恰好有个功能就是做这个的:列分析,下面就来看看这个功能如何帮助我们进行数据清洗的. 首先更新到最新版的 PowerBI Desktop,在预览功能中启用列分析. 然后在 Power Quer…
最近琢磨规划CAD数据转换入库GIS方面的技术问题,看过一些前辈的文章/文献,对于使用FME WorkBench方面,有了一些了解,往往直接转换数据丢失比较严重,而且GIS对图形属性和空间拓扑比较严格,想着转换加个质量检测过程应该有利于数据交互.本来写成“发表论文”的形式,不发论文了直接贴出来. 一.引言 城市规划一般都是以CAD进行图形设计的,包括总规.控规.分规.修详.红线等内容,每个部分又可以保护多个细分的图层.随着目前城市规划应用深入展开,必须考虑到GIS空间分析的功能性,GIS对于城市…
市场研究公司Forrester副总裁Erin Kinikin曾经把低劣的数据质量做了一个形象的比喻“用更好的方法访问劣质的数据,结果类似于把已经腐烂了的桃子用更快的卡车,走更好的路线运输到达市场时,桃子仍然是腐烂的.”质量低劣的数据带给我们的不仅仅是报表数据的错误,更危险的是它可能会导致决策的偏离. 随着数据质量问题渐渐被广泛地关注,我们为了降低和避免低劣的数据质量带来的影响和危害,通常在ETL(抽取.转换和加载)过程中增加了数据清洁的步骤,这样一来ETL就变成了ECTL(抽取.清洁.转换和加载…
1.cognos报表的部署. 参数制作的步骤: 1.先在cognos里面把做好的报表路径拷贝,然后再拷贝陈工给的报表路径. 开始做替换,把陈工给的报表路径头拿到做好的报表路径中,如下面的链接http://10.194.40.11:9300/p2pd/servlet/dispatch?b_action=xts.run&m=portal/report-viewer.xts&ui.action=run&ui.object=CAMID这个是报表运行的参数(陈工) 然后再把尾部的run.ou…
本篇文章内容来自2016年TOP100summit Microsoft资深产品经理邢国冬的案例分享.编辑:Cynthia 邢国冬(Tony Xing):Microsoft资深产品经理.负责微软应用与服务集团的大数据平台构建,数据产品与服务. 导读:微软的ASG (应用与服务集团)包含Bing,.Office,.Skype.每天产生多达5 PB以上数据,如何构建一个高扩展性的data audit服务来保证这样量级的数据完整性和实时性非常具有挑战性.本文将介绍微软ASG大数据团队如何利用Kafka.…
大数据下的游戏营销模式革新 邓大付博士腾讯专家工程师 Bio:毕业于华中科技大学,现任腾讯IEG运营部数据中心技术副总监,负责腾讯游戏的数据挖掘相关工作,包括有用户画像,推荐系统,基础算法研究等.主要感兴趣的领域包括有分布式计算平台系统架构,机器学习算法等. =================================================== 这个讲座时间比较短,内容也比较少,不过还是让我开拓了眼界,比如TX游戏数据的规模.游戏服务器的规模以及游戏中一些算法.模型的应用. ==…
通过执行多种数据剖析规则,对目标表(或一段SQL语句)进行数据质量探查,从而得到其数据质量情况.目前支持以下几种数据剖析类型,分别是:数字值分析.值匹配检查.字符值分析.日期值分析.布尔值分析.重复值检查.表达式匹配.参照完整性检查.值分布分析.数据剖析完成后可以通过日志中的链接查看其产生的剖析报告.数据剖析任务可以加入到作业流程中,以支持日常的增量数据探查,任务执行完后每个剖析规则均会返回剖析结果变量,可根据变量的值进行下一步的操作,比如发邮件通知数据的维护人员. 1.) 设定剖析规则 在任务…
随着企业信息化建设的不断深入进行,我们的企业将逐步地发展成为数字化企业.其中作为最基本构成的CATIA数模已经是产品开发制造的唯一依据,CATIA数模的质量就是加工的质量,就是制造的质量,就是生产出的产品的质量.     数模中不可避免地存在许多缺陷,这些缺陷大部分是不能被设计人员察觉的.我们需要一个工具使我们能够迅速检测出数模中有哪些问题.知道它们在什么地方.并快速消除掉这些缺陷.     德国TRANSCAT公司基于CATIA开发的Q-CHECKER和Q-Monitor是CATIA数据质量控…