应用场景: 本周在进行SIT,我帮助仅有的一个测试妹妹对部分表进行数据质量验证,第一步需要做的就是比对source与stage表的table definition 与 数据内容的一致性. 本项目使用的是oracle作为DW,source是oracle,sqlserver和xls. 没有权限建立database link, 测试们常用的方法是比对总行数,然后如果数据集太大的话,则抽样比对,导出数据到xls,然后使用beyondcompare进行比对. 如果值出现不同,则需要查找出哪些行的值不同,最…

BI概念: 商业智能(Business Intelligence 简称BI),指数据仓库相关技术与应用的通称.指利用各种智能技术,来提升企业的商业竞争力.是帮助企业更好地利用数据提高决策质量的技术,包含了从数据仓库到分析型系统等.这些分析有财务管理.点击流(Clickstream)分析.供应链管理.关键绩效指标(Key Performance Indicators, KPI).客户分析等.BI实际上是帮助企业提高决策能力和运营能力的概念.方法.过程以及软件的集合,其主要目标是将企业所掌握的信息转…

BI测试: BI是从数据接入.数据准备.数据分析.数据可视化到数bai据分发应用的一系列过程,目的是为了辅助企业高效决策.而报表虽然最终也实现了数据可视化,但是对于数据分析的维度.深度.颗粒度.实时性与BI相比差很多,无法满足决策者实时看数据做决策的需求.从扮演的角色来看,BI的发展可以理解为从数据分析工具到深入场景的"决策大脑"的演进.最开始企业只是想通过其提高做数据分析这项工作的效率,而到后面,更多企业的目的是为了提高做决策的效率和科学性,以结果为导向. 测试方法:(https:/…

什么是mock接口呢,举个栗子,你在一家电商公司,有查看商品.购物.支付.发 货.收获等等等一大堆功能,你是一个测试人员,测测测,测到支付功能的时候,你就要调用第三方支付接口了,真实支付,直接扣你支付宝/微信/银行卡里面的 钱了,这下大事不好,测个试还得把自己钱搭进去(当然一般公司都会报销测试的支付费用,但是走报销麻烦),还有一些大额支付的的,可能你账户里面根本就没 那么钱,怎么办呢,这时候就要体现出一个高(zhuang)级(bi)测试工程师的价值来,自己写一个支付接口,来模拟第三方支付,反正支…

我们可以预先把程序中用到的资源,如图片,音乐等放入项目中,打包进XAP文档,需要的时候从中调用.下面就说说具体实现方法. 第一步,把数据存进项目. 1.右键点击项目名称-添加-新建文件夹(英文版请自行翻译),这里文件夹名以image为例,把需要的图片拖进来,当然你也可以不建,直接把图片拖到项目项目录下, 2.选中刚刚拖进去的图片,看右下角的属性标签,如果没有,右键点图片,选属性.生成操作选Resource. 第二步,程序调用. System.IO.Stream src = Application…

关于对比度: 调节对比度直观感受是,高对比度的图像明暗关系更明显,色彩更鲜艳:低对比度的图像表面像是蒙上一层灰,色彩不鲜艳. 需求: 制作一个面板,一个滑动条,拖动滑动条可以修改目标图片的对比度. 资料参考: https://softwarebydefault.com/2013/04/20/image-contrast/ 界面滑动条两端的值是-30~30,默认处于中间位置0.已知目标图像的Bitmap数据. 修改Bitmap的对比度. 将修改之后的Bitmap重新赋值给界面Image控件显示.…

测试工作是一项十分枯燥的工作,与之相对的测试人员必须有足够的耐心.绝对的细心等素质才能完美的完成这项工作. 从最初的瀑布模式,到如今风靡的敏捷,Devops等:从最初的最后一道关卡到渗透至各个流程,再到一名人员身兼数职(Devops),测试人员的人员素质要求越来越高,各类新兴产业的层出不穷,人工智能.大数据.区块链等的兴起,只能说没两把刷子能吃这口饭的时间是不会长的,因此,惊涛骇浪下,仍需默默前行! BI,(Business Intelligence)这个名词应该都不会陌生,BI商业智能,它是一…

1.连oracle 11g数据库遇到密码不能验证通过. 在11g中, 数据库默认密码的大小写是敏感的,jdbc在给oracle密码时, 会将其变成大写.其他个别情况也会出现变成小写的. 为统一,去除oracle的密码大写敏感设定:alter system set sec_case_sensitive_logon=false. 2.12C数据库服务器的'~\product\11.2.0\dbhome_1\NETWORK\ADMIN\sql.net'中需要加的一段话 #12C ORACLE数据库加这…

千呼万唤的Power BI中国版终于落地了,相信12月初的微软技术大会之后已经铺天盖地的新闻出现了,不错,Power BI中国版真的来了,但还有些遗憾,国际版的一些重量级服务如power bi embeded,都还暂时不能用,但相信会很快,等了一年,也不在乎多等点时间了,而且中国版的一些服务已经可以先进行一些测试和技术储备了.今天就来说说Power BI帐号注册的相关问题,以及多人协作环境的搭建. 苦逼这篇文章应该在2016年末发出来的,杯具搞到半夜,Win10系统死掉了...无法保存,当时那个…

Power BI有手机版,目前支持安卓,苹果和WP,不过没有WP手机,苹果在国内还不能用,要FQ和用就不测试了.安卓的我也也是费了九牛二虎之力才把app下载下来,把方法分享给大家. FQ太麻烦,所以建议大家不要用了.同时我也使用了很多第三方的在线网站下载google商店的app工具,结果都不太好使用.后来找到一个流弊的软件:APKPure (最后提供下载) APKPure是干啥的呢: ApkPure 网站是基于安卓系统应用下载的辅助网站,对于没有安装Google Play的用户来说是个很实用的工…

前言:未来的时代将由数据勾画,未来的BI将是自助BI的时代 随着数据爆发式增长,像ERP.OA.CRM等系统在企业运用的越来越多.这些系统的使用必然会产生很多的数据,比如在产品加工设计测试维护过程中产生的主数据:在生产采购库存以及电子商务运营过程中产生数据:通过互联网等渠道获得行业.市场以及竞争对手的数据.随着大数据的到来,企业在数据分析展现层面,面临着四大重要问题. 第一.运用什么工具来分析数据.提取信息. 第二.怎样改变技术不懂业务.业务不懂数据的"困境". 第三.如何解决大数据量…

JMeter测试MongoDB性能有两种方式,一种是利用JMeter直接测试MongoDB[即通过MongoDB协议测试],另一种是写Java代码方式测试MongoDB[即通过java请求测试] 注:   1.用于插件不准,所以在使用JMeter直接测试MongoDB时例如find().insert()等命令返回结果会不准,因此3.0里去掉了mongodb的协议,如果要用JMeter测试MongoDB我们一般选择写Java代码的方式[即第二种方式],具体情况会在后面说明.   2.JMeter2…

在Power Query中,你不但可以搜索线上的数据,也可以把自己的数据发布到线上供其它人检索.Power Query通过Power BI站点提供了这种内置的分享功能.在Excel中,Anna打开了她想要进行分享的工作簿,这个工作簿里包含了她先前在Power Query中下载的2009年NASDAQ数据.接下来她决定把这份自己组织的数据发布到Power BI站点中供其他同事能够检索到. 在Ribbon菜单中,她找到Table Tools下的Query并且选择Share. 然后弹出一个窗体提示输入…

BI项目中会有很多不同种类的项目,其中比较比较大的一部分就是对DB脚本的处理.然而DB的脚本毕竟无法在项目中进行维护,所以这里介绍如何对DB的脚本进行版本上的维护. 数据库脚本本身没有项目模板支持,很难进行版本管理维护,通常只能通过文件脚本的方式,比如通过Task将DB的定义导出到文件. 这种方法可以将DB里的相关对象,表,视图,存储过程以及函数等导出到文件.缺点是每次导出的时候很难知道每次导出跟上一次的版本变化在哪里. 这里介绍另外一种方法,就是通过Visual Studio里的工具,这里主要…

闲话少述,接 上文 继续... 6.生成测试报表 生成测试报表前,需要先生成性能测试结果 jtl 或 csv 文件,用于测试结果的生成. jmeter -n -t JMeter分布式测试示例.jmx -r -l report\01-result.csv -j report\01-log.log jmeter -g report\01-result.csv -j report\run-dashboard.log -e -o report\dashboard 命令行窗口输出如下图所示:…

近日,珠海奥威软件宣布成功签约新世界中国地产(华南),成为该公司在商业智能项目上的坚实合作伙伴,共同打造基于以财务应用为主的决策分析平台. 公司简介 新世界中国地产(港股代号:917)为香港上市公司新世界发展有限公司的全国物业发展旗舰,在国内扎根30年,已经发展成为全国至大型房地产发展商之一,也是全国最大的外资房地产企业.新世界中国地产一直秉承追求卓越的发展理念,依托国际化的企业背景,立足本土需求,在全国22个城市成功创建了40个城市地标项目. 华南区域作为新世界中国地产在中国内地的重点投资战略…

1.    Nagios监视远程服务器时,是通过在控制端执行以下命令进行数据收集的: /usr/local/nagios/libexec/check_http -I 192.168.16.11 /usr/local/nagios/libexec/check_ssh -H 192.168.16.11 /usr/local/nagios/libexec/check_ping -H 192.168.16.11 -w 100.0,20% -c 500.0,60% -p 5 /usr/local/nagi…

今年的项目涉及到BI的知识点,读了<商业智能深入浅出>,这本书是基于IBM的产品做的,基础知识部分讲的非常成体系.记下来做个备忘: 1. BI简介 1.1 实施方案 1)项目规划: 2)系统设计与实现: 3)系统调优 4)系统运行维护 1.2 实施步骤 1)定义需求: 1.1)特点:从不同的维度去分析主题,利用报表去阐述 1.2)功能需求:各业务专题分析.关键性指标和查询监控.报表查询.高级分析和指标监控 2)数据仓库模型建设: 概念模型 -> 逻辑模型 -> 物理模型 3)数据清…

开篇介绍 SQL Profilling Task 可能我们很多人都没有在 SSIS 中真正使用过,所以对于这个控件的用法可能也不太了解.那我们换一个讲法,假设我们有这样的一个需求 - 需要对数据库表中的一些数据做一些数据分析,比如统计一下数据表中各列中实际数据的长度,各长度区间范围:比如统计一下各数据列中非空字段的比例,表的行数,重复字段等等.那么如果不是专门做过这种数据源数据分析的话,可能不知道用什么方式能够非常快的得到这些信息.写 SQL 语句?我想这个过程也是非常耗费时间和精力的. 实际上…

时间: 1000ms / 空间: 655360KiB / Java类名: Main 背景 冬令营入学测试 描述 这个故事是关于小F的,它有一个怎么样的故事呢. 小F是一个田径爱好者,这天它们城市里正在举办马拉松比赛,这个城市可以被看作是n个点m条带权有向边组成的图.马拉松比赛的终点只有一个:点S. 有k个人参加了这场马拉松,小F所在的城市的马拉松与正常的马拉松不一样,每个人的起点都是不相同的,具体地,第i个人从第{ai}个城市出发,并且第i个人的速度是{vi}.每个人当然是会沿着最短路跑到S点,…

P4744 A's problem(a) 时间: 1000ms / 空间: 655360KiB / Java类名: Main 背景 冬令营入学测试题,每三天结算一次成绩.参与享优惠 描述 这是一道有背景的题目,小A也是一个有故事的人.但可惜的是这里纸张太小,小A无法把故事详细地说给大家听.可能小A自己也讲不清楚自己的故事,因为如果讲清了,也就没有这道题目了-- 小A的问题是这个样子,它找到了n份不同的工作,第i份工作每个月有ai的工资,每份工作需要小A每天工作8小时,一周工作7天.小A想知道性价…

最近因为科研需求,一直在研究Google的开源RE2库(正则表达式识别库),库源码体积庞大,用C++写的,对于我这个以前专供Java的人来说真的是一件很痛苦的事,每天只能啃一点点.今天研究了下里面用到的测试方法,感觉挺好的,拿来跟大家分享下!(哈~C++大牛勿喷) 对于我这个C++菜鸟中的菜鸟而言,平时写几个函数想要测试一般都是在main中一个一个的测试,因为没用C++写过项目,没有N多方法所以在main中一个个测试也不费劲.但是对于一个项目而言,或多或少都有N多方法,如果在main中一个个测试…

      DW/BI 系统在生命周期中需要许多不同的角色和技能,它们来自业务和技术领域.本文将介绍创建DW/BI 系统所涉及的主要角色.角色和人之间很少是一对一关系.与我们合作的团队小到只有一人,大到有40 人(听说有更大的),大部分DW/BI 团队在3-10 个全职成员之间,并根据需要增加其他人.       单个DW/BI 团队常常同时承担开发和操作任务,不同于大部分技术项目团队,这与DW/BI 项目开发周期的高度迭代相关. 下面的角色与设计和开发活动相关: ● DW/BI 经理负责项目的…

BI项目中经常会有一些提取,转换,数据处理(ELT)的工作,其中最主要的是处理过赃数据.假设在项目中我们向数据库中注入了测试数据,但是通过一个外键从另外一个表中载入数据的时候没有对应的数据,那么这一行就是赃数据.这时候可以使用SQL中的Sound-Ex,full-text,相似度算法等方法查找.这种策略需要花费大量的时间和精力来设计算法,测试,维护,并且它们都是基于词汇的,复用的可能性很小.也可能你会放弃自己处理并把它抛给一些有经验的高手专家来做这些工作,也可能你会在表中添加一些新的数据已达到外…

开篇介绍 最近经常碰到在 ETL 练习中出现这种转换失败的问题,试了多种方式,同样的代码同样的源结构和表结构但是一直不能成功执行,包报错.一般有这么几种错误: Error at DST_LOAD_DATA_FROM_FILE [OLE_DST_EMPLOYEE[109]]: The column "FirstName" cannot be processed because more than one code page (1252 and 936) are specified for…

开篇介绍 这是今天在帮别人看一个 2008R2 版本的项目时发现的一个 Bug,这个 Bug 在 SQL SERVER 2012 有的版本中可能已经解决,但在论坛上看到有的仍然存在. 在 SQL SERVER 2008 R2 版本中,比如从一个数据库表中取一个 BIGINT 类型的数据,赋值给一个 Int64 类型的变量,按照我们的理解肯定是正确的. 但是结果是报错了 - 错误原因:类型不一致造成的. [Execute SQL Task] Error: An error occurred whi…

开篇介绍 记得笔者在 2006年左右刚开始学习 SQL Server 2000 的时候,遇到一个面试题就是行转列,列转行的操作,当时写了很长时间的 SQL 语句最终还是以失败而告终.后来即使能写出来,也是磕磕碰碰的,虽然很能锻炼 SQL 功底,每次都要挣扎一番,溺水的感觉.记得SQL Server 2005 以后就有了 PIVOT 和 UNPIVOT 这两个函数,可以非常方便的实现行转列和列传行的操作,就不再那么挣扎了.后来,在一个 08 项目中,有一位新的女同事在改一个 ETL,发现 SSIS…

开篇介绍 这一篇文章是 微软BI 之SSIS 系列 - 带有 Header 和 Trailer 的不规则的平面文件输出处理技巧 的续篇,在上篇文章中介绍到了对于这种不规则文件输出的处理方式.比如下图中的这种不规则文件,第一行,第二行 Header 部分,第三行的内容 Content 部分,最后一行的 Trailer 部分. 在前几个课程 微软BI SSIS 2012 ETL 控件与案例精讲 第43,44,45,46 课中,我分别讲解了如何使用 .Script Component Source 解…

开篇介绍 前些天自己在整理 SSIS 2012 资料的时候发现了一个功能设计上的疑似Bug,在 Script Task 中是可以给只读列表中的变量赋值.我记得以前在 2008 的版本中为了弄明白这个配置,还特意测试过这个细节,获取错误并理解了这个功能.但是现在回去再次测试 2008 的版本时,发现这个功能在 2008 中其实也是错误的,把我印象中的测试结果完全给推翻了,所以到现在已经搞不清楚我当时到底是如果得出这个错误的. 疑似功能 Bug 描述 在 SSIS 包中定义了用户自定义变量 - PV…

开篇介绍 在做 ETL 项目的时候,往往很多 Package 的开发都是基于相同的模型和流程.比如在 Package 开始运行时需要向 Process Log 表中插入记录,在 Package 运行结束的时候更新运行状态. 在错误处理阶段同一个项目中的所有 Package 也是相同的处理方式,除此之外还有设计到 Package 的配置还有一些参数和验证流程等等基本上都一致. 配置过程 如果每次开发一个 Package 都需要重新拖拉这些控件并配置连接管理器,配置 SQL 语句和参数,并且要保证配…