最近导师让给师弟师妹做个关于kettle的培训,瞬间囧了,kettle我也只是简单学过,连皮毛都算不上,而且,上次使用kettle已然是去年的事了…… 没办法,只好重新学习下,好在之前写了几个文档,也留下了几行代码,想想还是放到博客上,以后自己查看也比较方便. 数据清洗: 数据清洗是指发现并纠正数据文件中可识别的错误,包括检查数据一致性,处理无效值和缺失值等. 从这个技术的名称简单理解,就是把脏的数据洗掉(丢弃),或者洗干净(修正). 如同大象放进冰箱,一般来说数据清洗也可以分为三步: ETL:…

数据库连接测试时,所有的参数信息都填写正确,却报错了. 或者,没有进行数据库连接测试,直接保存了当前数据库连接,然后在浏览,选择目标表时报错: 或者其他别的关于数据库连接的错误…… 第一个要考虑的就是,可能是缺少对应的数据库连接驱动. 若像我一样用的是mysql的话,可以到kettle的lib目录下,寻找,看有木有名称类似于mysql-connector-java-x.x.x-bin.jar的jar包.没有就需要从网上下载一个,放到lib目录中,然后重新启动kettle即可. 有时,即便有数据库…

相关概念: Kettle数据清洗是采用元数据(Meta-data)驱动,以数据流的方式进行的,数据从数据源(数据库/文件等)在一系列相连的step之间依次向后流动,各个step完成对流经该step的数据进行需要的处理工作. Kettle中的数据转换组件按粒度从小到大分为Step.Trans.Job. Step:是完成单一具体功能的组件,如从文件中读取数据.对流中的字段进行字符串拆分操作.对不能为空的字段设置相应默认值.将流中的数据写入到数据表等. Trans:转换,一般最终清洗完成的数据库中有多…

事务机制 事务(Transaction)是数据库区别于文件系统的重要特性之一.事务会把数据库从一种一致状态转换为另一个种一致状态.在数据库提交工作时,可以确保其要么所有修改都已经保存了,要么所有修改都不保存. InnoDB存储引擎中的事务完全符合ACID的特性. 原子性(atomicity) 原子性是指整个数据库事务是不可分割的工作单位.只有使事务中所有的数据库操作执行都成功,才算整个事务成功.如果事务中任何一个SQL语句执行失败,那么已经执行成功的SQL语句也必须撤销,数据库状态应该退回到执行…

一.序:IP地址和子网划分学习笔记开篇 只要记住你的名字,不管你在世界的哪个地方,我一定会去见你.——新海诚 电影<你的名字> 在我们的日常生活中,每个人的名字对应一个唯一的身(敏)份(感)证(词)号,在Internet上也是一样,每台主机(Host),包括所有的具有上网功能的电子设备都有IP地址,有了IP地址,这些电子设备联网之后,才能正常通信. 要了解和熟练掌握IP地址和子网的划分,首先必须要对进制数计数有一定的认识,本篇为预备知识:掌握十进制.二进制.十六进制.八进制以及它们之间的关系和…

tensorflow学习笔记(3)前置数学知识 首先是神经元的模型 接下来是激励函数 神经网络的复杂度计算 层数:隐藏层+输出层 总参数=总的w+b 下图为2层 如下图 w为3*4+4个   b为4*2+2 接下来是损失函数 主流的有均分误差,交叉熵,以及自定义 这里贴上课程里面的代码 # -*- coding: utf-8 -*- """ Created on Sat May 26 18:42:08 2018 @author: Administrator "&qu…

RTOS 系统的核心就是任务管理,FreeRTOS 也不例外,而且大多数学习RTOS 系统的工程师或者学生主要就是为了使用RTOS 的多任务处理功能,初步上手RTOS 系统首先必须掌握的也是任务的创建.删除.挂起和恢复等操作,由此可见任务管理的重要性.由于任务相关的知识很多,所以接下来我们将用几章的内容来讲解FreeRTOS 的任务.本章先学习一下FreeRTOS的任务基础知识,本章是后面学习的基础,所以一定要掌握本章关于FreeRTOS 任务管理的基础知识,本章分为如下几部分: 5.1 什么是…

定义 //1.二维数组的定义 //2.二维数组的内存空间 //3.不规则数组 package me.array; public class Array2Demo{ public static void main(String[] args){ //定义二维数组 int[ ] [ ] arr={{1,2,3},{4,5,6}}; //静态初始化 //打印出二维数组 for(int i=0;i<arr.length;i++){ for(int j=0;j<arr[i].length;j++){ S…

20171123 Linux shell 基础学习笔记1. shell 的开始 一般是 #!/bin/bash 通过 #! 来唯一指定使用的shell路径 其他的 # 都表示注释.2. shell 的变量 定义变量直接用 variablename= value 就可以 其中变量名与等号之间没有空格. 使用变量的时候 是 ${vairablename} 的方式进行使用 大括号可以有可以没有,但是建议有. 可以使用 for file in `ls /etc/` 的方式来循环取得文件名. 使用do d…

先来学习一下C语言基础知识,总结如下: 在xcode下编写代码. 1.编写代码 2.编译:cc –c 文件名.c 编译成功会生成一个 .o的目标文件 3.链接:把目标文件.o和系统自带的库合并在一起,生成一个可执行文件. 指令:cc 文件名.o 链接成功会生成一个.out可执行文件,选择用终端打开运行. 4.运行:./a.out //也可以双击a.out运行  ./表示当前路径 也可以同时编译并链接 指令:cc a.c 可以直接在终端里生成文件,生成一个源文件到当前目录 指令:touch   a…