install Hadoop

CentOS:

check nodes status

$HADOOP_HOME/bin/hadoop dfsadmin -report

https://ambari.apache.org/1.2.3/installing-hadoop-using-ambari/content/reference_chap2_1.html

　　Also can access name node web page with port 50070

install Spark

on CentOS:

　　https://aodba.com/how-to-install-apache-spark-in-centos-standalone/

https://bigdata-etl.com/how-to-install-apache-spark-standalone-in-centos/

https://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm

https://gist.github.com/darcyliu/d47edccb923b0f03280a4cf8b66227c1

on Ubuntu:

install JAVA

install Scala

install Spark

big data env setup的更多相关文章

Devlopment Env Setup install ubuntu16.04
http://blog.csdn.net/ljheee/article/details/52966048 1.add chinese language support settings -> i ...
Openwrt build env setup(9)
reference : https://openwrt.org/docs/guide-developer/quickstart-build-images Install dependence pack ...
使用Active Database Duplication创建跨平台Data Guard设置 (Windows/Linux) (Doc ID 881421.1)
Using Active Database Duplication to Create Cross Platform Data Guard Setup (Windows/Linux) (Doc ID ...
sass-loader使用data引入公用文件或全局变量报错
报错信息: ValidationError: Invalid options object. Sass Loader has been initialised using an options obj ...
EntityFramework 7 开发纪录
博文目录: 暂时开发模式 Code First 具体体现 DbContext 配置 Entity 映射关联配置 Migration 问题纪录(已解决) 之前的一篇博文:EF7 Code First O ...
引擎设计跟踪(九.14.2g) 将GNUMake集成到Visual Studio
最近在做纹理压缩工具, 以及数据包的生成. shader编译已经在vs工程里面了, 使用custom build tool, build命令是调用BladeShaderComplier, 并且每个文件 ...
参照openRTSP写的一个RTSP client 加了一些注解
#include "liveMedia.hh" #include "BasicUsageEnvironment.hh" #include "Gro ...
Docker教程：dokcer machine的概念和安装
http://blog.csdn.net/pipisorry/article/details/50920982 Docker machine介绍做为Docker容器集群管理三剑客之一的Docker ...
Tensorflow object detection API 搭建属于自己的物体识别模型
一.下载Tensorflow object detection API工程源码网址:https://github.com/tensorflow/models,可通过Git下载,打开Git Bash, ...

随机推荐

feign请求写法
@FeignClient(value = "test", url = "${proxy.srvs.test:}") public interface ISubS ...
python类库32[多进程同步Lock+Semaphore+Event]
python类库32[多进程同步Lock+Semaphore+Event] 同步的方法基本与多线程相同. 1) Lock 当多个进程需要访问共享资源的时候,Lock可以用来避免访问的冲突. imp ...
requests中text,content,json之间的区别
response.text : 返回一个字符串\n",content : 返回二进制\n",json() : 返回对象"
electron打包成.exe后限制只启动一个应用
注意:这是2.x的文档 const {app} = require('electron') let myWindow = null const shouldQuit = app.makeSingleI ...
Python 函数Ⅲ
默认参数调用函数时,默认参数的值如果没有传入,则被认为是默认值.下例会打印默认的age,如果age没有被传入: 以上实例输出结果: 不定长参数你可能需要一个函数能处理比当初声明时更多的参数.这些参 ...
C#Regex中replace方法的替换自定义小数点后的内容
$1应该就是引用了这个组,不用这个会匹配不到 /// <summary> /// 截取 /// </summary> /// <param name="n&qu ...
ReentrantReadWriteLock源码分析笔记
ReentrantReadWriteLock包含两把锁,一是读锁ReadLock, 此乃共享锁, 一是写锁WriteLock, 此乃排它锁. 这两把锁都是基于AQS来实现的. 下面通过源码来看看Ree ...
oracle 7.4安装nvidia驱动
2019-8-28 参考网页: 如何在k8s集群中安装nvidia.cuda并使用GPU进行训练 https://blog.csdn.net/u013042928/article/details/78 ...
中南林业大学校赛 I 背包问题 ( 折半枚举 || 01背包递归写法 )
题目链接题意 : 中文题分析 : 价值和重量都太过于大,所以采用折半枚举的方法,详细可以看挑战的超大背包问题由于 n <= 30 那么可以不必直接记录状态来优化,面对每个用例直接采用递 ...
[SHOI2005]树的双中心
题目链接:Click here Solution: 首先我们要知道,选择两个点$A,B$,必定存在一条边,割掉这条边,两个集合分别归$A,B$管再结合题目,我们就得到了一个暴力的\(n^2\ ...

big data env setup

install Hadoop

install Spark

on CentOS:

on Ubuntu:

big data env setup的更多相关文章

随机推荐

热门专题