一.安装 Scala 插件 Flink 分别提供了基于 Java 语言和 Scala 语言的 API ,如果想要使用 Scala 语言来开发 Flink 程序,可以通过在 IDEA 中安装 Scala 插件来提供语法提示,代码高亮等功能.打开 IDEA , 依次点击 File => settings => plugins 打开插件安装页面,搜索 Scala 插件并进行安装,安装完成后,重启 IDEA 即可生效. 二.Flink 项目初始化 2.1 使用官方脚本构建 Flink 官方支持使用 M…

一.安装Spark 1.1 下载并解压 官方下载地址:http://spark.apache.org/downloads.html ,选择 Spark 版本和对应的 Hadoop 版本后再下载: 解压安装包: # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 配置环境变量 # vim /etc/profile 添加环境变量: export SPARK_HOME=/usr/app/spark-2.2.3-bin-hadoop2.6 export PATH=…

[JAVA零基础入门系列](已完结)导航目录 Day1 开发环境搭建 Day2 Java集成开发环境IDEA Day3 Java基本数据类型 Day4 变量与常量 Day5 Java中的运算符 Day6 Java字符串 Day7 Java输入与输出 Day8 Java的控制流程 Day9 Java中的那个大数值 Day10 Java中的数组 Day11 Java中的类和对象 Day12 Java类的简单应用 Day13 Java类的继承与多态 Day14 Java对象的克隆 Day15 对象的比…

https://mp.weixin.qq.com/s/noD2Jv6m-somEMtjWTJh3w 本文是根据 Apache Flink 系列直播课程整理而成,由阿里巴巴高级开发工程师沙晟阳分享,主要面向于初次接触 Flink.或者对 Flink 有了解但是没有实际操作过的同学.希望帮助大家更顺利地上手使用 Flink,并着手相关开发调试工作. 主要内容: Flink 开发环境的部署和配置 运行 Flink 应用 单机 Standalone 模式 多机 Standalone 模式 Yarn 集群…

第一节 初识 Flink 在数据激增的时代,催生出了一批计算框架.最早期比较流行的有MapReduce,然后有Spark,直到现在越来越多的公司采用Flink处理.Flink相对前两个框架真正做到了高吞吐,低延迟,高性能. 1. Flink 是什么? 1) Flink 的发展历史 在 2010 年至 2014 年间,由柏林工业大学.柏林洪堡大学和哈索普拉特纳研究所联合发起名为"Stratosphere:Information Management on the Cloud"研究项目,该…

本文为<Flink大数据项目实战>学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习课程: Flink大数据项目实战:http://t.cn/EJtKhaz 1. 创建Flink项目及依赖管理 1.1创建Flink项目 官网创建Flink项目有两种方式: https://ci.apache.org/projects/flink/flink-docs-release-1.6/quickstart/java_api_quickstart.html 方式一: mvn a…

1. Kali linux是BT5的晋级版本,用于信息安全.基于Debian7内核.新建虚拟机. 2. 选择默认虚拟机 3. 选择稍后安装操作系统 4.选择Linux Debian7 64位,因为KaliLinux基于Linux Debian7. 5. 设置虚拟机名称为KaliLinux 6.设置处理器为双核. 7. 设置内存为2G 8. 选择网络地址转换 9. 设置IO控制器 10. 选择默认磁盘类型 11. 创建一个新的虚拟磁盘 12. 设置磁盘大小,以及设置为拆分多个文件,便于虚拟机的迁移…

1. Backtrack 是处于世界领先地位的渗透测试和信息安全审计发行版本.有着上百种预先安装好的工具软件,并确定能完美运行,Backtrack5 提供了一个强大的渗透测试平台--从Web hack的应用程序到RFID 审查,都可由Backtrack来完成. 2. 选择默认虚拟机 3. 选择稍后安装操作系统 4. 设置为Linux Unbntu,因为BT5基于Unbntu. 5.我们设置虚拟机名称为BT5. 6.然后我们设置处理器为双核. 7.然后设置内存为2G. 8.然后我们使用网络地址转换…

1. 年发起了OpenBSD 专案,希望创造一个注重安全的操作系统. 2.创建一个虚拟机. 3.选择默认的workstation10.0 4.我们选择稍后安装操作系统. 5.我们选择FreeBSD64位. 6.我们输入名称OPENBSD 7.我们设置处理器为双核. 8.我们设置内存为2G. 9.我们使用网络地址转换. 10.我们选择默认的IO控制器. 11.我们选择虚拟磁盘类型为SCSI． 12.然后我们创建新的虚拟磁盘. 13.我们设置最大磁盘大小为20G.并拆分为多个文件,便于进行虚拟机的迁…

Hadoop环境搭建测试 1 安装软件 1.1 规划目录 /opt [root@host2 ~]# cd /opt [root@host2 opt]# mkdir java [root@host2 opt]# mkdir cdh [root@host2 opt]# ls cdh java 1.2 安装RZ工具 RZ工具:可以直接从win平台拖动下载好的软件到Linux平台 sudo yum -y install lrzsz 1.3 上传软件 将windows准备好的软件上传 1.4 解压 [ro…