闭包是函数式编程的概念 闭包的定义:由函数极其封闭的自由变量组成的集合体. 其实每一个函数都是一个闭包 特点:函数中嵌套函数. 在返回的时候不仅返回函数本身,而且返回内部函数的值,关键词‘释放’ 闭包的用途 1.嵌套回调函数 2.隐藏对象细节 JS中有对象,但是没有实例,JS中对象是对象,实例是实例,分开的,给予原型的面向对象…

进入了新的公司,开始接触新的方向,内心激动而又兴奋,对于BI以前知道的极少,从今天开始要好好学习了~ BI的概念,功能,强大之处在此先不做赘述,BI之路先要一步一个脚印扎实做起,现在正在看的也是之前好多大神们推荐的<SQL SERVER 2008商业智能完美解决方案>,相信无论对初学者还是BI高级开发人员都有启示. 首先,ETL工作之一,最简单的是SSIS包的设计-调试-执行-部署,做完我才发现原来微软Integration Services工具集的强大之处,比如今天做的Excel-->…

1.安装 install.packages("shinydashboard") 2.基础知识 仪表盘有三个部分:标题.侧边栏,身体.下面是最最小的仪表面板页面的UI: ## ui.R ## library(shinydashboard) dashboardPage( dashboardHeader(), dashboardSidebar(), dashboardBody()) 通过shinyApp()函数可以快速查看R控制台: ## app.R ## library(shiny) li…

如今的企业经营方式,业务对于数据分析有极大的需求,但却苦于没有数据以及工具的有效支持,业务分析仍就依赖于IT报表制作.而IT方不断地按业务需求去调研.确认业务逻辑,然后取数做报表,其中还要忍受业务的需求变更. Gartner在2016年的商业智能报告中指出,企业传统的IT应用系统虽然已经非常普及,但由于数据整合的复杂性和业务逻辑的多变性,传统BI工具已不能满足企业对于及时性数据分析的需求.以IT主导的商业智能BI和分析将逐步演变为以业务为主导的自助式分析. 工欲善其事,必先利其器.企业对于自助式…

前言:未来的时代将由数据勾画,未来的BI将是自助BI的时代 随着数据爆发式增长,像ERP.OA.CRM等系统在企业运用的越来越多.这些系统的使用必然会产生很多的数据,比如在产品加工设计测试维护过程中产生的主数据:在生产采购库存以及电子商务运营过程中产生数据:通过互联网等渠道获得行业.市场以及竞争对手的数据.随着大数据的到来,企业在数据分析展现层面,面临着四大重要问题. 第一.运用什么工具来分析数据.提取信息. 第二.怎样改变技术不懂业务.业务不懂数据的"困境". 第三.如何解决大数据量…

随着通信行业改革的不断深化,行业的发展形势和生存环境正发生巨大变化,通信和信息的边界越来越模糊,市场竞争也随之愈演愈烈.近年来,某通讯运营商在业务的转型.网络的转型取得了巨大的突破,但人力资源管理的转型的步伐相对缓慢,已在某种程度上成为影响企业转型和精细化管理的短板. 人力资源作为企业核心竞争力,是企业的第一资源.某国内电信巨头,在系统中已经存在部门.岗位.人员等统一的,完整的架构信息:业务系统和业务流程中也富含大量的人员信息,但是对于人力部门来说,公司人员.岗位.薪酬.KPI等资源的调整指导却…

1.安装rpm-build # yum install rpm-build 2.创建制作RPM包目录 # cat /root/.rpmmacros %_topdir /root/rpmbuild %_prefix /usr/local/app/%{name}-%{version # cd /root/rpmbuild # mkdir -pv {BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS}目录意义: BUILD 源码解压后存放目录 RPMS 制作完成后RPM包…

接触Power BI的时间也只有几个月,虽然花的时间不多,但通过各种渠道了解收集,谈不上精通,但对一些重要概念和细节还是有所了解.在整理官方文档的过程中,也熟悉和了解了很多概念.所以从前到后把微软官方的入门稳定粗略的介绍了一下.本篇文章也是这个小系列的终结篇.我将所有的章节整理为了一个完整的PDF文档分享给大家.其实了解之后发现文档还是有些简单的,过程其实没介绍到.因为微软也提供了支持文档,但限于篇幅太大,我就不打算按照原文一个个复制给大家了.入门文档是让大家有个粗略的了解.技术文档就是细节了,…

SSIS配置此处的配置方式,主要针对到正式服务器上要修改服务器名,和连接服务器等配置注意:1. 包配置在windows2008上生成后,在windows2003上mysql的配置无法使用,总是报错连接不到mysql.即使包连接的是sqlserver,也不能使用一下第一种一般的xml配置方式.(纠结折腾了两天,终于知道是服务器版本的问题,坑爹啊)2.对于连接mysql时,要安装ADO.NET driver for MySQL http://dev.mysql.com/downloads/conne…

BI项目中会有很多不同种类的项目,此篇会对这些项目进行一个总结,并且在TFS中进行分类. 根据笔者对BI项目的经验和理解,主要将BI项目中的项目类型进行如下分类: DB脚本 DB脚本是BI项目中重要的部分,而且一个项目大多数时间基本都是围绕着一个DB做工作. 在DB脚本中主要维护数据仓库数据库的代码,包括表,视图,存储过程,函数等. 有些项目的数据仓库往往要分好多层,所以可以创建不同的子目录维护不同层级的数据仓库. 但对于数据库的版本管理没有项目模板进行支持,后续会对此部分的版本管理方案进行介绍…

http://www.cnblogs.com/chiniao/archive/2009/12/23/1630595.html  (转载) Microsoft Integration Services 是一个可以生成高性能数据集成解决方案(包括为数据仓库提取.转换和加载 (ETL) 包)的平台. Integration Services 包括用于生成和调式包的图形工具和向导:用于执行工作流函数(如 FTP 操作).执行 SQL 语句以及发送电子邮件的任务:用于提取和加载数据的数据源和目标:用于清除…

RPM包的制作 前言 按照其软件包的格式来划分,常见的Linux发行版主要可以分为两类,类ReadHat系列和类Debian系列,这两类系统分别提供了自己的软件包管理系统和相应的工具. 类RedHat系统中软件包的后缀是rpm,提供了同名的rpm命令来安装.卸载.升级rpm软件包: 类Debian系统中软件包的后缀是deb,同样提供了dpkg命令来对后缀是deb rpm的全称是Redhat Package Manager,常见的使用rpm软件包的系统主要有Fedora.CentOS.openSU…

开篇介绍 SQL Profilling Task 可能我们很多人都没有在 SSIS 中真正使用过,所以对于这个控件的用法可能也不太了解.那我们换一个讲法,假设我们有这样的一个需求 - 需要对数据库表中的一些数据做一些数据分析,比如统计一下数据表中各列中实际数据的长度,各长度区间范围:比如统计一下各数据列中非空字段的比例,表的行数,重复字段等等.那么如果不是专门做过这种数据源数据分析的话,可能不知道用什么方式能够非常快的得到这些信息.写 SQL 语句?我想这个过程也是非常耗费时间和精力的. 实际上…

一直准备写这么一篇有关 SSIS 日志系统的文章,但是发现很难一次写的很完整.因为这篇文章的内容可扩展的性太强,每多扩展一部分就意味着需要更多代码,示例和理论支撑.因此,我选择我觉得比较通用的 LOG 部分,在这里分享一下给大家,希望对大家在设计 ETL 的日志系统时有所启发和帮助.当然在这里要区分 Logging 和 Auditing 的区别,Logging 主要用来记录发生了什么事情,Auditing 侧重描述过程中产生的数据量,新增了多少,修改了多少等记录条数.本文主要讲解 Log 部分,…

什么是BI? Business Intelligence(BI) = Data Warehouse(DW) + OLAP + Data Mining(DM) 商业智能=数据仓库+联机分析+数据挖掘 做BI的目的是帮助用户进行决策分析,从多维的角度来分析现状,给决策者做出正确的决策提供可靠的数据基础与背景,为企业的发展做出正确的导向.然而在国内做BI确走入了一个误区,通常客户拿BI当报表系统来用,这有点大才小用的感觉,还有就是各个公司水平不同,常常有个别公司拿着拿着非BI系统来欺骗客户给BI蒙上了…

在处理SSIS包的数据ETL操作过程中,我们经常遇到的一个问题就是一系列步骤在运行的过程中,如果中间的一个步骤失败了,那么我们就需要清理前面已经运行过的步骤所产生的数据或者结果,这往往是一个很头疼的过程.那么在SSIS的Package中是否可以实现事务机制呢? 我们知道基于事务我们可以保证在一系列操作下的各个步骤,它们要么全部成功,要么全部失败.这里将介绍在SSIS的Package中一个比较简单的实现方法. 首先,建立一个测试表,这个表里会有一个自增的主键标识,然后分别有一个文本和数字类型的字段…

      DW/BI 系统在生命周期中需要许多不同的角色和技能,它们来自业务和技术领域.本文将介绍创建DW/BI 系统所涉及的主要角色.角色和人之间很少是一对一关系.与我们合作的团队小到只有一人,大到有40 人(听说有更大的),大部分DW/BI 团队在3-10 个全职成员之间,并根据需要增加其他人.       单个DW/BI 团队常常同时承担开发和操作任务,不同于大部分技术项目团队,这与DW/BI 项目开发周期的高度迭代相关. 下面的角色与设计和开发活动相关: ● DW/BI 经理负责项目的…

1.安装 版本说明:Win10+R3.2.5+JKD1.7+eclipse-jee-mars-R-win32-x86_64 install.packages("rJava") 2.R中调用Java 载入rJava包,运行library(rJava),注意:在一个会话中,包只需载入一次.如果需要,你可以自定义启动环境以自动载入会频繁使用的那些包,下面是测试程序: > library(rJava) > .jinit() #打开JVM > s <- .jnew(&qu…

首先安装打包软件# yum install rpmbuild  rpmdevtools -y 生成打包路径1.使用rpmdev-setuptree ,会自动在用户家目录生成一个rpmbuild的文件夹,作为工作路径2.cd rpmbuild/SPECS路径,创建my.spec文件,仅仅需要以下内容################my.spec##############Name: shepherdVersion: 1.0Release: 1%{?dist}Summary: luckykrisLi…

[公告]本博客于2015年10月起不再更新 新博客文章主要发表在商业智能BI社区: http://www.flybi.net/blog/biwork 博客地图自动分类 文章目录方便更好的导航,阅读文章. 分享与下载 微软产品下载大全(操作系统,SQL SERVER,Office)http://www.itellyou.cn/ 微软示例数据库下载  Microsoft Demo Database Download 微软 DEMO  下载     Microsoft Demo Download SQ…

开篇介绍 关于 Lookup 的缓存其实在之前的一篇文章中已经提到了 微软BI 之SSIS 系列 - Lookup 组件的使用与它的几种缓存模式 - Full Cache, Partial Cache, NO Cache 但是还是可能遗漏的部分内容,因此在这里重新总结并补充一下.这是第一篇,还是从理论的角度来讨论 Lookup 缓存的问题:后面有空还会再写一篇,从后台 SQL 执行的情况来理解 Lookup 的工作过程.   并且关于 Lookup 缓存还有其它比较有意思的话题,比如我的这些帖子…

开篇介绍 最近经常碰到在 ETL 练习中出现这种转换失败的问题,试了多种方式,同样的代码同样的源结构和表结构但是一直不能成功执行,包报错.一般有这么几种错误: Error at DST_LOAD_DATA_FROM_FILE [OLE_DST_EMPLOYEE[109]]: The column "FirstName" cannot be processed because more than one code page (1252 and 936) are specified for…

开篇介绍 记得笔者在 2006年左右刚开始学习 SQL Server 2000 的时候,遇到一个面试题就是行转列,列转行的操作,当时写了很长时间的 SQL 语句最终还是以失败而告终.后来即使能写出来,也是磕磕碰碰的,虽然很能锻炼 SQL 功底,每次都要挣扎一番,溺水的感觉.记得SQL Server 2005 以后就有了 PIVOT 和 UNPIVOT 这两个函数,可以非常方便的实现行转列和列传行的操作,就不再那么挣扎了.后来,在一个 08 项目中,有一位新的女同事在改一个 ETL,发现 SSIS…

开篇介绍 来自 天善学院 一个学员的问题,如何在 SSIS 中导入 ACCESS 数据表中的数据. 在 SSIS 中导入 ACCESS 数据库数据 ACCESS 实际上是一个轻量级的桌面数据库,直接使用文件形式存储.在国内大量使用 ACCESS 作为 BI 数据源并不多,但是在国外特别是美国使用的还比较多,因为他们的 IT 基础起步比较早.在我的第一个美国的医疗保险项目中,就遇到过大量的 ACCESS 数据源,前后总共有 500 多个 ACCESS 表.而现在从国外一些朋友反馈的情况仍然还有在使…

开篇介绍 前些天自己在整理 SSIS 2012 资料的时候发现了一个功能设计上的疑似Bug,在 Script Task 中是可以给只读列表中的变量赋值.我记得以前在 2008 的版本中为了弄明白这个配置,还特意测试过这个细节,获取错误并理解了这个功能.但是现在回去再次测试 2008 的版本时,发现这个功能在 2008 中其实也是错误的,把我印象中的测试结果完全给推翻了,所以到现在已经搞不清楚我当时到底是如果得出这个错误的. 疑似功能 Bug 描述 在 SSIS 包中定义了用户自定义变量 - PV…

开篇介绍 通常一个 ETL Package 是由多个控制流和数据流共同组成,有的时候 ETL 的步骤可能会比较多,整个流程执行下来的时间可能比较长.假设在 ETL Package 中包含5个Task,前3个Task执行超过1个小时,到了第4个Task的时候发生失败.如果下次执行的时候重新从第1个任务开始执行,那么又要花费1个小时等待 1-3 任务执行,无疑在效率上讲是非常低的.特别是在数据仓库的应用上,往往从数据源到Staging的过程中有千万级甚至亿级的数据要加载,加载完毕之后再进入到维度和事…

相关学习资料 http://hi.baidu.com/hucyuansheng/item/bf2bfddefd1ee70ad68ed04d http://en.wikipedia.org/wiki/Instant_Messaging_and_Presence_Protocol https://www.trillian.im/impp/ http://en.wap.wikipedia.org/wiki/Presence_and_Instant_Messaging http://zh.wikiped…

第一部分:连锁零售企业上BI的必要性． 目前国内的连锁零售行业的发展趋势,呈现出产业规模化,经营业态多样化,管理精细化的特点.所谓管理精细化就是"精耕细作搞管理,领先一步订系 统".如今的商业企业在日常的经营过程中,产生了大量的信息,这些信息蕴藏了丰富的经营技巧和市场规律,怎样才能有效的利用这一宝贵的资源是每一个零售企 业最为迫切的愿望.于是,商业BI(Business Intelligent 商业智能分析系统)便诞生了.BI是一种运用了数据仓库.在线分析和数据挖掘技术来处理和分析数据…

前言 "可视化之工具,可爱者甚蕃.统计学家独爱R,自Python来,世人盛爱matplotlib.余独爱Power BI之出微软而不染(免费),濯Office而不妖(够精简).......".先开个玩笑,哈哈^_^. 本文向大家介绍微软公司最近发布的可视化神器 - PowerBI.将重点讲解它的主要功能.和同类可视化工具的对比.以及基本使用方法. 本系列后面文章则将针对该工具的具体使用进行详细深入的讲解. Power BI的主要功能 顾名思义,PowerBI是一款BI(商务智能)工具,…

package com.text.ziptest; import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException;…