本里需要基础知识:【NIFI】 Apache NiFI 安装及简单的使用

查询SQL

  1、拖入一个 Processor:ExecuteSQLRecord(执行sql记录)

  2、配置,SETTINGS的Automatically Terminate Relationships ,都选上

  3、配置,PROPERTIES

    a、配置数据库连接服务(创建数据库连接服务 -> 添加默认的DBCPConnectionPool -> 设置连接服务 -> 配置数据库连接信息 -> 激活连接服务)
         

         

         

    b、设置SQL select query,语句:Select id,name From user

    c、设置Record Writer,记录服务(创建记录服务 -> 添加JsonRecordSetWriter -> 编辑JsonRecordSetWriter -> 在JsonRecordSetWriter添加AvroSchemaRegistry -> 编辑AvroSchemaRegistry -> AvroSchemaRegistry添加内容(内容是Avro格式)--> 激活AvroSchemaRegistry -> 激活JsonRecordSetWriter )

         

      编辑JsonRecordSetWriter

         

      AvroSchemaRegistry添加内容

         

  4、拖入一个 Processor:PutFile(输出)

       

  5、将ExecuteSQLRecord与PutFIle关联起来,从ExecuteSQLRecord中心点击,拖拉到PutFIle上

  6、启用2个Processor,可以看到输出文件夹中新生成了文件,文件内容即数据库中查出来的数据,是json形式的,如下:

    

    

插入SQL

  1、拖入一个 Processor:GenerateFlowFile(生成sql语句)

    

  2、编辑GenerateFlowFile,写入内容

       

  3、拖入一个 Processor:PutSQL(执行sql语句)

    

  4、配置:PutSQL,数据库连接使用的是上例中的连接池

       

  5、将GenerateFlowFile与PutSQL关联起来,从GenerateFlowFile中心点击,拖拉到PutSQL上

  6、启用2个Processor,在数据库中查看,数据库中已经有了插入的数据

    

【NIFI】 Apache NiFI 与 SQL 操作的更多相关文章

  1. 深入Apache NiFi 之源码学习

    前言 要问 Hortonworks 这家公司最有产品力的产品是什么,我觉得是 Apache NiFi.去年Cloudera 和 Hortonworks 合并之后,以 Cloudera 为主,两家公司进 ...

  2. 【NIFI】 Apache NiFI 集群搭建

    NiFI 集群介绍 NiFi集群架构 NiFi采用Zero-Master Clustering范例.集群中的每个节点对数据执行相同的任务,但每个节点都在不同的数据集上运行.其中一个节点自动选择(通过A ...

  3. 【NIFI】 Apache NiFI 安装及简单的使用

    NiFI介绍 NiFi(NiagaraFiles)是为了实现系统间数据流的自动化而构建的.虽然术语“数据流”用于各种上下文,但我们在此处使用它来表示系统之间的自动和管理信息流 官网地址:http:// ...

  4. 【NIFI】 Apache NiFI 之 ExecuteScript处理(二)

    本例介绍NiFI ExecuteScript处理器的使用,使用的脚本引擎ECMScript 接上一篇[NIFI] Apache NiFI 之 ExecuteScript处理(一) ExecuteScr ...

  5. 【NIFI】 Apache NiFI 之 ExecuteScript处理(一)

    本例介绍NiFI ExecuteScript处理器的使用,使用的脚本引擎ECMScript FlowFile I / O简介 NiFi中的流文件由两个主要组件构成,即属性和内容.属性是关于内容/流文件 ...

  6. Apache Nifi 开发

    Apache NiFi是由美国过国家安全局(NSA)贡献给Apache基金会的开源项目.其设计目标是自己主动化系统间的数据流.基于其工作流式的编程理念.NiFi很易于使用,强大.可靠及高可配置. 两个 ...

  7. Apache NiFi 开发 安装说明

    系统环境: vmware安装的centos6.7虚拟机 jdk1.8版本 maven库3.3.9版本(在使用源码编译启动的时候需要修改配置文件与当前使用的maven版本匹配,最低使用版本好像是3.1. ...

  8. 初识Apache NiFi

    一. NiFi介绍 Apache NiFi支持功能强大且可扩展的数据路由,转换和系统中介逻辑的有向图. Apache NiFi的一些高级功能和目标包括: 基于Web的用户界面 设计,控制,反馈和监控之 ...

  9. Apache nifi 第一篇(概述)

    1.什么是Apache NiFi? 简单地说,NiFi是为了自动化系统之间的数据流.虽然数据流这种形式很容易理解,但我们在此使用它来表示系统之间的自动化和不同系统之间数据的流转.企业拥有多个系统,其中 ...

随机推荐

  1. Linux常用软件整理

    视频:VLC 音乐:网易云 编辑器:Vim,Vscode 截图:Shutter 远程桌面:Remmina 笔记:NixNote(evernote第三方版本) 屏幕亮度调节:Brightness Con ...

  2. Lattice Constants and Crystal Structures of some Semiconductors

    Lattice Constants and Crystal Structures of some Semiconductors and Other Materials Element or Compo ...

  3. 统计请求最高的TOP 5

    cat access.log |awk -F "," '{print$14}'|awk -F "\"" '{print$4}'|sort |uniq ...

  4. GitHub优秀项目

    https://blog.csdn.net/javaxuexi123/article/details/79248124

  5. hdu 5154 拓扑排序

    例题:hdu 5154 链接  http://acm.hdu.edu.cn/showproblem.php?pid=5154 题目意思是第一行先给出n和m表示有n件事,m个关系,接下来输入m行,每行有 ...

  6. [Java学习]常用类-包装类型

    八种基本类型对应的包装类 Java中的数据类型由八种基本类型,以及引用类型组成. byte short int long float double boolbean char Object 为了方便, ...

  7. [Java学习]面向对象-类的继承;方法覆盖

    一.类的继承 实现方法: public Class SubClass extends SuperClass{ } 继承最基本作用: 代码重用. 继承最重要的作用: 方法可以重写. 关于类的继承: 子类 ...

  8. java 基础之--java动态代理

    1.抽象角色:声明真实对象与代理对象的共同接口: 2.代理角色:相当于中介的作用,bridge,内部包含对真实角色的reference,在执行真实操作对象时,附加其他操作,相当于对真实角色的封装: 3 ...

  9. Java_6 方法

    1方法的定义和使用的注意事项 方法:一些功能整合成一个功能模块 注意事项:  a: 方法不能定义在另一个方法的里面  b: 写错方法名字  c: 写错了参数列表  d: 方法返回值是void,方法中可 ...

  10. linux输入命令的时候查看目录的快捷键---菜鸟初学必看

    1.. 当前目录2... 上级目录3.~ home目录4.- 前一个目录5.# cd - 进入上次访问目录6.按两下Tab 查看当前文件夹下的内容7.tab自动补全