Standalone 环境安装 将 spark-3.0.0-bin-hadoop3.2.tgz 文件解压缩在指定位置(/opt/module) tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module 修改解压后文件名称为spark-standalone mv spark-3.0.0-bin-hadoop3.2 spark-standalone 进入解压缩后路径的 conf 目录,修改 slaves.template 文件名为 slaves m…

Django学习笔记(一):环境安装与简单实例 通过本文章实现: Django在Windows中的环境安装 Django项目的建立并编写简单的网页,显示欢迎语与当前时间 一.环境安装 结合版本兼容性等原因,采用了Python3+Django1.11的组合.具体版本对应如下: Django version Python versions 1.11 2.7, 3.4, 3.5, 3.6 2.0 3.4, 3.5, 3.6, 3.7 2.1, 2.2 3.5, 3.6, 3.7 1.Python安装…

一.环境安装 Win10(安装python3.x): 1.下载安装包     https://www.python.org/downloads/   2.安装完成后设置环境变量. 桌面-“计算机”-右键“属性”-“高级系统设置”-“高级”-“环境变量”-“系统变量”.找到Path,在后面加上python3.x安装路径下(记得用分号隔开)例             如;C:\Users\Administrator\AppData\Local\Programs\Python\Python35-32…

说明:这篇博客来自我的csdn博客,http://blog.csdn.net/lxxgreat/article/details/7753511 一.参考书:<hadoop权威指南--第二版(中文)> 二.hadoop环境安装 1.安装sun-jdk1.6版本 1)目前我只在一台服务器(CentOS5.5)上搭建hadoop环境,因此先卸载已安装的java1.4版本 卸载命令:yum -y remove java 2)下载sun-jdk1.6,地址:http://download.oracle.…

说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1) 1.安装vmmare,创建3台虚拟机名字为hadoop1,hadoop2,hadoop3,都是centos6.5操作系统,网络选择桥接模式如图 2.创建完虚拟机后,启动虚拟机,然后运行ifconfig发现eth0网卡没有,这时不用急,去这个目录下找到ifcfg-eth0文件,然后…

一.安装JDK(具体安装省略) 二.安装Scala(具体安装省略) 三.安装IDEA 1.打开后会看到如下,然后点击OK…

一个分布式发布-订阅消息传递系统 特点: 高吞吐量.低延迟 使用场景(举例): 日志收集:用kafka收集各种服务产生的log,通过kafka以统一的接口服务的方式开放给各种consumer,如hadoop,hbase等 下载安装: 1.下载地址   选择一个版本的kafka进行下载 2.解压 tar -zxvf kafka_2.-0.9.0.1.tgz mv kafka_2.-0.9.0.1 /opt/ 3.配置环境变量(可选步骤) 上手使用: 1.config目录配置文件(zookeeper…

Jmeter 介绍 Apache JMeter应用程序是开源软件,旨在为负载测试功能行为和测量性能的100%纯Java应用程序.它最初是为测试Web应用程序而设计的,但后来扩展到其他测试功能 常用压力测试工具对比 LoadRunner:性能稳定,压测结果及细度大,可以自定义脚本进行压测,过于重大,功能比较繁多: Apache ab :模拟多线程并发请求,ab命令对发布负载的计算机要求很低,即不会占用过多cpu,也不会占用过多的内存,但却会给目标服务器造成巨大的负载,简单的DDOS攻击等: web…

1.安装sbt 正常安装流程. 在cmd里运行的时候,要提前设置代理(如果上网有代理),set JAVA_OPTS=-Dhttp.proxySet=true -Dhttp.proxyHost=172.17.18.84 -Dhttp.proxyPort=8080.这样sbt就可以联网下载了,否则后续的安装会不成功. 2.安装scala 正常安装流程. 3.安装git 正常安装.如果上网有代理,需要在bash里面进行设置,git config --global http.proxy 172.17.1…

expect是交互性很强的脚本语言,可以帮助运维人员实现批量管理成千上百台服务器操作,是一款很实用的批量部署工具!expect依赖于tcl,而linux系统里一般不自带安装tcl,所以需要手动安装 下载:expect-5.43.0.tar和tcl8.4.11-src.tar下载地址:https://pan.baidu.com/s/1kVyeLt9 提取密码:af9p 将expect和tcl的软件包下载放到/usr/local/src目录下 (1)解压tcl,进入tcl解压目录,然后进入unix目…