1.  安装VM14的方法在 人工智能标签中的<跨平台踩的大坑有提到> 2. CentOS分区设置: /boot:1024M,标准分区格式创建. swap:4096M,标准分区格式创建. /:剩余所有空间,采用lvm卷组格式创建 其他按需要设置就好, 配置好后使用 vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 设置网络连接; HWADDR=00:0C:29:B3:AE:0E TYPE=Ethernet BOOTPROTO=static…

java+hadoop+spark+hbase+scala 在/etc/profile 下面加上如下环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_102 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:/usr…

Docker搭建大数据集群 给出一个完全分布式hadoop+spark集群搭建完整文档,从环境准备(包括机器名,ip映射步骤,ssh免密,Java等)开始,包括zookeeper,hadoop,hive,spark,eclipse/idea安装全过程,3-4节点,集群部署自己确定,比如集群涉及的多种角色namenode,secondary namenode, datanode,resourcemanager等的节点分配,并用表格形式给出.给出可访问的ip,用户名密码.(阿里云直接给公网ip,校园…

之前的几篇博客中记录的Hadoop.Spark和Hbase部署过程虽然看起来是没多大问题,但是之后在上面跑任务的时候出现了各种各样的配置问题.庆幸有将问题记录下来,可以整理出这篇部署整合篇. 确保集群的每台机器用户名都为cloud(或者一样) 为了避免过多重复的解释,这里仅仅示意了怎么配置,关于配置的详情解释可自行百度,必应之~或者参考: hadoop2.2.0集群安装和配置 HBase集群的安装部署 Spark(一)– Standalone HA的部署 修改各个节点上的/etc/hosts文件…

前提说明: 1.Hadoop与spark是两个独立的框架,只安装spark也可独立运行,spark有自己的调度器(standalone模式): 2.在Hadoop的基础上安装spark就是为了使用yarn调度器与Hadoop的hdfs存储: 3.如果你只想安装spark,可不用看Hadoop的安装,并不影响spark的安装与使用. 4.并不需要单独安装scala,因为spark之中已经集成了Scala(如果想要对应的版本也可以自己安装) 我的安装环境: centos7服务器版.jdk8.hado…

Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-cluster/和<Hadoop基础教程>这本书.我的用户名是wuyouwulv,所以在接下来的代码中如果出现wuyouwulv的地方只要更改一下用户名就可以了.搭建hadoop伪分布式环境并不需要为此创建一个新的group和user,所以我这里用的一直都是wuyouwulv这个用户.我所需的文件都放在我…

分享一下自己整理的超多电子书, 其中包括:Java,Hadoop,Spark,Linux,Hbase,Hive,机器学习,区块链 目录如下: 1 Java 基础 2 Java 虚拟机 3 Java 并发 4 Docker 体系 5 Hadoop 6 Hbase 7 Hive 8 区块链 9 Spark 10 MySQL 11 设计模式 12 时间管理 13 Zookeeper 14 Redis 15 机器学习 16 Linux学习(详细) 17 Perl Hadoop相关 Spark相关 [★公…

一.安装JDK 点击 JDK8下载,根据自己的平台,选择相应的版本进行下载. Java环境分JDK和JRE ,JDK就是Java Development Kit. 简单的说JDK是面向开发人员使用的SDK,它提供了Java的开发环境和运行环境. JRE是Java Runtime Enviroment是指Java的运行环境,是面向 Java 程序的使用者. 以 Windows安装JDK为例,双击下载的JDK,设置安装路径.这里我选择默认安装在“D:\Program Files\Java\jdk1.…

1.部署思路 两台docker机(centos 7系统),Docker 版本:18.09.6, build 481bc77156 Docker host IP:192.168.102.135 Docker client IP:192.168.102.134 在centos host上部署dokcer,并在docker容器中部署tomcat及jdk.webapp,部署后测试通过,并推入私有仓库.docker client端从私有仓库拉取镜像,运行并查看运行结果.操作示意图如下: 2.安装tomca…

1,something: 1,arc land 506  git branch 507  git status 508  git reset multicloud/qcloud/cluster_management/spark_cluster/dependent_file/spark-1.6.2-bin-hadoop2.6.tgz 509  git status 510  git add multicloud/qcloud/tools/ssh.py 511  git status 512  gi…