一些功能类似drill ,比如s3,file ... 创建file pipeline 准备file mkdir -p /opt/db/ touch books.txt 内容如下: The Catcher in the Rye, J.D. Salinger, 1945 Pride and Prejudice, Jane Austen, 1813 Of Mice and Men, John Steinbeck, 1937 Frankenstein, Mary Shelley, 1818 创建表 me…

实际上还是一个pipeline,只是添加了一些规则以及内嵌的http server 方便我们对于基于http 或者类似轻量 协议数据的处理 基本环境 使用docker&& docker-compose 进行环境搭建,具体参考项目:https://github.com/rongfengliang/streamsets-demos/tree/master/micro-service 运行micro-service pipeline 环境 docker-compose up -d docker-…

备注:使用docker 进行安装 1. 基本准备 a. 环境检查(必须,不然会有服务启动异常的问题) docker run --rm memsql/quickstart check-system b. 启动 docker run -d -p 3306:3306 -p 9000:9000 --name memsqlcontainer memsql/quickstart 启动的时候也可以使用数据卷 docker create --name memsqldata memsql/quickstart /…

相关streamsets 文章(不按顺序) 学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets stream selector 使用 streamsets mongodb destinations 使用 streamsets redis destinations 使用 streamsets exce…

目前Jenkins最新的版本是2.7,现在试用一下pipeline类型的项目,本来想构建一个1.651版本的Jenkins为例,无奈大陆的网络 访问github不稳定,只好改为简单的工程. 目前有一个代码仓库地址: https://github.com/wangzy23/jenkins-pipeline.git 里面有一个代码文件 jenkins.c , 编译命令是:“gcc jenkins.c -o jenkins” , 运行编译的可执行文件./jenkins ,输出为:“Hello Jenk…

问题描述: hadoop版本:hadoop-2.0.0-cdh4.3.0 在本地环境下能够找到scheme,但是通过maven打包fatjar 后放到其他机器上就出现找不到scheme. 看了代码,发现通过FileSystem.get(conf)初始化的时候,要通过静态加载来实现,其加载类的方法代码如下: private static FileSystem createFileSystem(URI uri, Configuration conf ) throws IOException { Cl…

很久之前在Win7基础上安装了Ubuntu12.04系统,采用硬盘安装的方法.分了1个10G的硬盘分区F盘用于存放Ubuntu12.04的引导文件,其实完全可以制作一个Ubuntu12.04的U盘启动盘.我的分区一共250G空间,格局是这样的:C盘存放Win7系统文件,包括程序等,共40G:D盘和存放资料,80G:E盘70G,存放资料:F盘10G,用于存放Ubuntu12.04的引导文件:前面的C~F分区全是标准的NTFS格式的:另外一个50G格式化后将原有的NTFS格式变成FAT32格式,用于…

memsql 可以加载s3,文件系统,kafka.hdfs 系统的数据,测试使用kafka 环境使用 docker-compose 运行,新版本的需要申请license,参考链接: https://www.cnblogs.com/rongfengliang/p/9922041.html 环境准备 docker-compose 文件   version: "3.7" services:  memsql:    image: memsql/cluster-in-a-box    init:…

drone 1.0 rc 已经发布,新的功能很强大,界面比旧版本更加人性化,和git 的集成也更高了 测试环境准备 试用gogs 做为git 管理工具 docker-compose 文件 version: '3' services: drone-server: image: drone/drone:1.0.0-rc.1 ports: - "80:80" volumes: - ./drone:/var/lib/drone/ environment: - DRONE_OPEN=true -…

flynn 是一个不错的开源paas 平台,基于git 以及容器技术,开发模型与 heroku 基本一样,同时构建方式就是基于heroku 的buildpacks 安装 官方文档提示说明是ubuntu 操作系统16 以及14 ,所以安装就试用ubuntu了 shell sudo bash < <(curl -fsSL https://dl.flynn.io/install-flynn) 效果 比较漫长,等待 安装的组件 Install Flynn’s runtime dependencies…