【NIFI】 Apache NiFI 与 SQL 操作
本里需要基础知识:【NIFI】 Apache NiFI 安装及简单的使用
查询SQL
1、拖入一个 Processor:ExecuteSQLRecord(执行sql记录)
2、配置,SETTINGS的Automatically Terminate Relationships ,都选上
3、配置,PROPERTIES
    a、配置数据库连接服务(创建数据库连接服务 -> 添加默认的DBCPConnectionPool -> 设置连接服务 -> 配置数据库连接信息 -> 激活连接服务)
       
   
       
   
       
   
b、设置SQL select query,语句:Select id,name From user
c、设置Record Writer,记录服务(创建记录服务 -> 添加JsonRecordSetWriter -> 编辑JsonRecordSetWriter -> 在JsonRecordSetWriter添加AvroSchemaRegistry -> 编辑AvroSchemaRegistry -> AvroSchemaRegistry添加内容(内容是Avro格式)--> 激活AvroSchemaRegistry -> 激活JsonRecordSetWriter )
       
   
编辑JsonRecordSetWriter
       
   
AvroSchemaRegistry添加内容
       
   
4、拖入一个 Processor:PutFile(输出)
     
   
5、将ExecuteSQLRecord与PutFIle关联起来,从ExecuteSQLRecord中心点击,拖拉到PutFIle上
6、启用2个Processor,可以看到输出文件夹中新生成了文件,文件内容即数据库中查出来的数据,是json形式的,如下:
    
    
插入SQL
1、拖入一个 Processor:GenerateFlowFile(生成sql语句)
    
2、编辑GenerateFlowFile,写入内容
     
   
3、拖入一个 Processor:PutSQL(执行sql语句)
    
4、配置:PutSQL,数据库连接使用的是上例中的连接池
     
   
5、将GenerateFlowFile与PutSQL关联起来,从GenerateFlowFile中心点击,拖拉到PutSQL上
6、启用2个Processor,在数据库中查看,数据库中已经有了插入的数据
【NIFI】 Apache NiFI 与 SQL 操作的更多相关文章
- 深入Apache NiFi 之源码学习
		前言 要问 Hortonworks 这家公司最有产品力的产品是什么,我觉得是 Apache NiFi.去年Cloudera 和 Hortonworks 合并之后,以 Cloudera 为主,两家公司进 ... 
- 【NIFI】 Apache NiFI 集群搭建
		NiFI 集群介绍 NiFi集群架构 NiFi采用Zero-Master Clustering范例.集群中的每个节点对数据执行相同的任务,但每个节点都在不同的数据集上运行.其中一个节点自动选择(通过A ... 
- 【NIFI】 Apache NiFI 安装及简单的使用
		NiFI介绍 NiFi(NiagaraFiles)是为了实现系统间数据流的自动化而构建的.虽然术语“数据流”用于各种上下文,但我们在此处使用它来表示系统之间的自动和管理信息流 官网地址:http:// ... 
- 【NIFI】 Apache NiFI 之 ExecuteScript处理(二)
		本例介绍NiFI ExecuteScript处理器的使用,使用的脚本引擎ECMScript 接上一篇[NIFI] Apache NiFI 之 ExecuteScript处理(一) ExecuteScr ... 
- 【NIFI】 Apache NiFI 之 ExecuteScript处理(一)
		本例介绍NiFI ExecuteScript处理器的使用,使用的脚本引擎ECMScript FlowFile I / O简介 NiFi中的流文件由两个主要组件构成,即属性和内容.属性是关于内容/流文件 ... 
- Apache Nifi 开发
		Apache NiFi是由美国过国家安全局(NSA)贡献给Apache基金会的开源项目.其设计目标是自己主动化系统间的数据流.基于其工作流式的编程理念.NiFi很易于使用,强大.可靠及高可配置. 两个 ... 
- Apache NiFi 开发 安装说明
		系统环境: vmware安装的centos6.7虚拟机 jdk1.8版本 maven库3.3.9版本(在使用源码编译启动的时候需要修改配置文件与当前使用的maven版本匹配,最低使用版本好像是3.1. ... 
- 初识Apache NiFi
		一. NiFi介绍 Apache NiFi支持功能强大且可扩展的数据路由,转换和系统中介逻辑的有向图. Apache NiFi的一些高级功能和目标包括: 基于Web的用户界面 设计,控制,反馈和监控之 ... 
- Apache nifi  第一篇(概述)
		1.什么是Apache NiFi? 简单地说,NiFi是为了自动化系统之间的数据流.虽然数据流这种形式很容易理解,但我们在此使用它来表示系统之间的自动化和不同系统之间数据的流转.企业拥有多个系统,其中 ... 
随机推荐
- GreenDao存储自定义类型对象解决方案(转)
			最近公司项目选用GreenDao作为Android客户端本地数据库的对象关系映射框架.对于GreenDao虽然以往也有简单用过,但这还是笔者第一次在实际业务中使用.碰到了题目所述的两个问题,虽然在Tu ... 
- sys系统用户长时间未登录导致密码过期
			ORA-28001: the password has expired (DBD ERROR: OCISessionBegin) 问题描述:当登陆em时使用sys帐号登陆进去后,数据库实例提示ORA- ... 
- elasticsearch 不同集群数据同步
			采用快照方式 1.源集群采用NFS,注意权限 2.共享目录完成后,在所有ES服务器上挂载为同一目录 3.创建快照仓库 put _snapshot/my_backup{ "type" ... 
- Ant 之 Task
			Ant提供了大量的核心task和可选task,除此之外,Ant还允许用户定义自己的task,这大大扩展了Ant的功能.本书由于篇幅关系,所以不可能详细介绍Ant所有的核心task和可选task,本书将 ... 
- WLC5520无法通过无线客户端进行网管故障解决
			客户反馈其办公环境中的WLC5520网管需要通过内部有线网络进行管理,通过无线客户端无法进行管理,远程协助其开启WLC5520的无线管理功能后故障解决. 
- 安装routeos
			直接开机,会看到: 选择全部安装即可,按a.i即可. 默认账号admin,默认没有密码 基本使用 可通过/ip,/interface等可以进去不同子功能模块,可进行print,add,remove等操 ... 
- 问题1:设置了text-overflow : ellipsis未起作用
			<style type="text/css"> * { padding: 0; } .div01 , .div02 { margin-top: 10px; border ... 
- 关于Laravel框架
			第1讲-Laravel介绍 1.1 什么是Laravel laravel是目前一个比较主流的框架,现在很多互联网的公司都在使用该框架.该框架的前身是symfony框架 Laravel的定位就是做一个简 ... 
- AngularJS——第11章 其它
			第11章 其它 11.1jQuery 在没有引入jQuery的前提下AngularJS实现了简版的jQuery Lite,通过angular.element不能选择元素,但可以将一个DOM元素转成jQ ... 
- webpack.base.conf.js
			var path = require('path')var utils = require('./utils')var config = require('../config')var vueLoad ... 
