KETTLE——（例）简单的字段转换

一个简单的小例子:结合数据抽取.简单的字段转换.数据输出. 资源库连接.数据输入.数据输出.参见之前的文章. 基本的转换结构是这样的,我们从表中输入,选择我们需要的字段,已经对应的名称,然后将数据在存入另外的数据库. 表输入的配置: 根据自己数据库的配置连接,连接数据库. 字段选择的配置: 不想要的字段可以直接删掉,需要改名的字段可以在直接改名表输出的配置: 根据自己数据库的配置连接,连接数据库. 这样的配置基本就完成了,开始转换就可以了,效果就是过滤了不想要的字段,及时两张表…

简单sql字段解析器实现参考

用例:有一段sql语句,我们需要从中截取出所有字段部分,以便进行后续的类型推断,请给出此解析方法. 想来很简单吧,因为 sql 中的字段列表,使用方式有限,比如 a as b, a, a b... 1. 解题思路如果不想做复杂处理,最容易想到的,就是直接用某个特征做分割即可.比如,先截取出字段列表部分,然后再用逗号',' 分割,就可以得到一个个的字段了.然后再要细分,其实只需要用 as 进行分割就可以了. 看起来好像可行,但是存在许多漏洞,首先,这里面有太多的假设:各种截取部分要求必须符合要…

简单的map转换成Bean的工具

简单的map转换成Bean的工具 package com.sd.microMsg.util; import java.lang.reflect.Field; import java.lang.reflect.Method; import java.math.BigDecimal; import java.text.SimpleDateFormat; import java.util.Date; import java.util.HashMap; import java.util.Map; imp…

hibernate查询部分字段转换成实体bean

//hibernate查询部分字段转换成实体bean /** * 查询线路信息 */ @Override public List<Line> getSimpleLineListByTj(Map<String,Object> paramMap){ Criteria cr=this.getSession().createCriteria(Line.class,"Line"); // cr.setFetchMode("chuTuanInfo", F…

Oracle中将Clob字段转换成字符串

1. 利用dbms_lob.substr()方法可将对应字段转换成字符串如下 select dbms_lob.substr(content) from NEWS 该方法有个缺点,当content字段长度超过某个值时,会报错. 2.获取Clob对象,在Java中通过对流处理获取字段内容,该方式没有长度限制 select content from NEWS // 将字CLOB转成STRING类型 public String ClobToString(Clob clob) throws SQLExce…

long类型字段转换成varchar2类型

參考文档: How to Convert a Long to Varchar2 (文档 ID 228532.1) /*long类型字段转换成varchar2类型*/ --建表 create table dxmy_long(lon long,var varchar2(100 )); --插数 insert into dxmy_long values( '丹心','明月' ); commit; --查看 declare v1 varchar2(100 ); begin select lon into…

转载:在Excel中将数据库字段转换成驼峰式

转载地址在Excel中将数据库字段转换成驼峰式 1.将数据库字段复制到Excel表格第一列: 2.在第二列顶部输入=PROPER(A1)命令: 3.在第三列顶部输入=SUBSTITUTE(B1,"_","")命令: 4.在第四列顶部输入=LOWER(LEFT(C1,1))&RIGHT(C1,LEN(C1)-1)即可得到驼峰式字段上面的完成之后,光标放在单元格右下角双击,可以批量将内容都变换为下面的格式,之后就可以根据选择使用需要的内容了.…

Fortify Audit Workbench 笔记 Race Condition: Singleton Member Field 竞争条件:单例的成员字段

Race Condition: Singleton Member Field 竞争条件:单例的成员字段 Abstract Servlet 成员字段可能允许一个用户查看其他用户的数据. Explanation 许多 Servlet 开发人员都不了解 Servlet 为单例模式. Servlet 只有一个实例,并通过使用和重复使用该单个实例来处理需要由不同线程同时处理的多个请求. 这种误解的共同后果是,开发者使用 Servlet 成员字段的这种方式会导致某个用户可能在无意中看到其他用户的数据. 换言…

ETL工具之Kettle的简单使用一(不同数据库之间的数据抽取-转换-加载)

ETL工具之Kettle将一个数据库中的数据提取到另外一个数据库中: 1.打开ETL文件夹,双击Spoon.bat启动Kettle 2.资源库选择,诺无则选择取消 3.选择关闭 4.新建一个转换 5.配置所需数据库 6.将需要进行提取的数据表,用表输入得到 7.选择源数据所在数据库及表,sql语句可自己输入 8.选择需要提取到的目标数据库及表(拖出来即可) 9.选择所对应的表中的对应列 10.按住Shift键,点击表输入拖到插入/更新 11.点击启动即可进行转换版权声明:本文为博主原创文章,未…

Kettle实现数据抽取、转换、装入和加载数据-数据转移ETL工具

原文地址:http://www.xue51.com/soft/5341.html Kettle是来自国外的一款开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装.Kettle可以帮助你实现你的ETTL需要:抽取.转换.装入和加载数据数据,且抽取高效稳定.Kettle这个ETL工具集,翻译成中文名称应该叫水壶,寓意为希望把各种数据放到一个壶里然后以一种指定的格式流出.它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你…

Kettle系列文章二(安装配置Kettle+SqlServer+简单的输入输出作业)

一.下载 Kettle下载地址:https://community.hitachivantara.com/docs/DOC-1009855 下拉到DownLoad,点击红框中的链接进行下载.. 二.解压安装. 把zip包解压到指定文件夹(自己选择). 然后运行Spoon.bat这个批处理文件,耐心等候一会儿即可出现应用程序界面. 有兴趣的朋友可以用文本文档打开看看里面的批处理指令. 三.安装JDK.配置环境变量. 请移步另一个教程:XXXX(回头替换). 四.开启Kettle之路. 1.新建一个…

STRANS一：简单的XML转换

心情不好,泥总把表妹微信给冰冰了,心塞... 1.简单的单层结构: <?sap.transform simple?> <tt:transform xmlns:tt="http://www.sap.com/transformation-templates"> <tt:root name="ROOT"/> <tt:template> <result> <error> <tt:value ref…

基于kettle的简单HTTP接口监控

需求:监控系统中使用的所有http接口,要求简单,易用. 一般的思路也就是发送get/post请求,然后检查接口的响应结果. 如果写代码,要处理http请求,检查http响应,实现发邮件,写db. 懒了,直接使用kettle拖几个控件就很容易实现啦. 1.使用工具: kettle:核心的工具 excel:接口属性数据存储 shell:kettle 的转换/job调度 2.实现流程 1)设计接口属性信息统计模板(excel格式); 2)使用kettle excel输入控件将统计的接口信息引…

JavaBean和json数据之间的转换（一）简单的JavaBean转换

1.为什么要使用json? JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,因为其高性能.可读性强的原因,成为了现阶段web开发中前后端交互数据的主要数据格式 2.简单的JavaBean和json之间的转换 1)首先,我们先写一个简单的JavaBean,内容非常简单,只有name和age两个字段 public class Student { private String name; private Integer age; } 2)我们将JavaBe…

DBUtil数据库连接单例 —— 简单不简单

单例大概是我最早产生明确模式意识的设计模式,因为它足够简单粗暴,目的足够明确. 单例么,就是不管怎么访问,都返回一个单一实例就好了,我最早应用在数据库的DBUtil中. public class DBUtils { //驱动串 private final static String Driver="com.mysql.jdbc.Driver"; //连接串 private static String url="jdbc:mysql://"+ SysPropertie…

sqlserver中对时间类型的字段转换

获取当前日期利用 convert 来转换成我们需要的datetime格式． select CONVERT(varchar(12) , getdate(), 112 ) 20040912------------------------------------------------------------ select CONVERT(varchar(12) , getdate(), 102 ) 2004.09.12-----------------------------------------…

kettle删除资源库中的转换或者作业

在资源库中新建转换,作业都很简单,那么加入现在不需要其中某个转换或者作业该怎么办呢? 下图是已经存在的转换跟作业现在需要删除aa这个转换操作步骤如下: 1.工具----资源库----探索资源库出现下图界面 2.删除资源库找到自己需要删除的转换,例如“aa”,右键,即可删除点击“是”,即可删除…

Kettle之数据抽取、转换、装载

Kettle 官网 ETL利器Kettle实战应用解析系列利用kettle组件导入excel文件到数据库 kettle中实现动态SQL查询 java中调用kettle转换文件…

wpf编写一个简单的PDF转换的程序

wpf 调用Spire.Pdf将PDF文件转换为其他文件模式首先在Nuget里下载该第三方包Spire.Pdf. 然后可以编写程序 //这里我调用的是解析成流模式,这是因为我要使用ProgressBar public void PdfTrasformOther(string fileName, string storeFileName, FileFormat fileFormat, MainWindow mainWindow) { this.mainWindow = mainWindow; P…

kettle无法更新数据库字段解决办法

刚开始使用kettle,遇到一个问题, 在编写一个转换流程时,如果所操作的表字段名发生了变化(例如表student中id变更问userid),但是在kettle中使用时仍然显示是id,如下图, 此时清空数据库缓存即可:…

SQL Server DTS向导，字段转换出现202和200错误

当使用SQL Server 2012的DTS向导(Import and Export Data/导入导出数据)时,会出现如下问题: 当来源数据直接使用表的时候,没有任何问题但如果来源数据是查询时,就会出现字段被映射为200(varchar)和202(nvarchar) 据说微软已经解决了这个Bug:https://connect.microsoft.com/SQLServer/feedback/details/772761/dtswizard-in-sql-2012-sp1-no-longer…

大数据学习——kettle的简单使用

1 生成随机数保存到本地文件新建转换--输入--生成随机数--输出--文本文件输出--保存到本地文件 2 在线预览生成结果 3 字段选择 4 增加常量 5 生成多条数据右键生成随机数--改变开始复制的数量--复制的数量10--确定 6 过滤记录 7 字段运算 8 连接笛卡尔输出作业…

懒要懒到底，能自动的就不要手动，Hibernate正向工程完成Oracle数据库到MySql数据库转换（含字段转换、注释）

需求描述需求是这样的:因为我们目前的一个老项目是Oracle数据库的,这个库呢,数据库是没有注释的,而且字段名和表名都是大写风格,比如在代码层面的po呢,以前也是没有任何注释的,但是经过这些年,大家慢慢踩坑多了,也给po加上了一些注释了,比如: 现状就是这样,再说说目标是:希望把这个库能转成mysql,表名和字段名最好都用下划线分隔每个单词,字段呢,最好能有注释.也就是差不多下面这样: 方案分析最早我尝试的就是hibernate正向工程,建一个空的mysql库,然后配置hibernate的…

数据表与简单java类映射转换

简单的Java类的定义来源于数据表的结构, 例如:雇员信息表.部门信息表描述的就是雇员或部门的信息, 在实际的开发之中,数据表和简单java类之间的映射关系如下: 1. 数据实体表设计 = 类的定义: 2.表中的字段 = 类的成员属性 : 3.表的一行记录 = 类的一个实例化对象 : 4.表的多行记录 = 对象数组 : 5.表的外键关联 = 引用关联 : 假设一个部门和雇员的表: 一个部门有多个雇员: 一个雇员属于一个部门: 一个雇员有一个领导: 下面将以上的数据表转为简单Java类的形式, 一…

将已有的lng lat 字段转换成point类型字段

利用拼接字符串转换point select GeomFromText(CONCAT('POINT(',lng,' ',lat,')')) from community limit 1; 插入字段到新表 create table communityN as select *,GeomFromText(CONCAT('POINT(',lng,' ',lat,')')) location from community;…

Tcp实现简单的大小写转换功能

有这样一个需求: 客户端给读物段发送文本,服务端会将文本转换为大写再返回客户端而且客户端可以不断的进行文本转换,当客户端输入over时,转换结束. 分析: 既然是操作设备上的数据,那么久可以使用io技术,并按照io的操作规律来思考源:键盘录入目的:网络设备.网络输出流而且操作的是文本数据,可以选择字符流 //客户端实现: package com.shindo.java.tcp; import java.io.*; import java.net.*; /** * 步骤: * 1.建立服务…

MySQL的时间字段转换

使用函数DATE_FORMAT(date,format)进行转换,如 # 输出2017 :: select date_format(now(),'%Y-%c-%d %h:%i:%s'); # 输出2017 :: select date_format(now(),'%Y-%m-%d %H:%i:%s'); STR_TO_DATE将字符串转为时间 select date_format(STR_TO_DATE('1/1/2013','%d/%m/%Y'),'%Y-%m-%d %H:%i:%s'); 其…