1.Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况,由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动jobhistory 如:sbin/mr-jobhistory-daemon.sh start historyserver 查看是否配制成功:http://172.16.7.81:19888/jobhistory(172.16.7.81为一个节点IP,一般为master节点) 2.检查 namenode 和 da

软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:hadoop-1.2.1 Hadoop下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/ 选择hadoop-1.2.1.tar.gz这个 第一阶段:安装JDK 请参考上篇文章:http://www.cnblogs.com/ma

Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题.一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突.解决方案就是删除我们自己向系统添加的jar包,重新配置.将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便,但是这不是一种好习惯,我们应该通过修改CLASSPATH的方式指定jar包路径. Cannot lock storage /tmp/hadoop-roo

0. Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common/   1. 集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99   2. 关闭系统防火墙及内核防火墙 #Master.Slave1.Slave2 #清空系统防火墙 iptables -F #保存防火墙配置 service iptables save     #临时关闭内核防火墙 setenforce

HADOOP_HOME E:\tool\eclipse\hadoop-2.7.3 HADOOP_USER_NAME ambari-qa path: %HADOOP_HOME%/bin

下载Hadoop(我下载的是2.8.0版本) 点击此处下载 下载后,使用 tar -zxvf tar包名 解压tar包,解压完成后有这样一个文件出现 修改Hadoop的配置文件 需要修改的配置文件在Hadoop安装路径下的 etc/hadoop中 需要修改的文件包括 hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml hadoop-env.sh修改内容如下 export JAVA_HOME=/Librar

接上篇:Hadoop3集群搭建之——虚拟机安装 下篇:Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 上篇已经安装好了虚拟机了,现在开始配置环境,安装hadoop 注:hadoop集群最少需要三台机,因为hdfs副本数最少为3,单机不算 我搭了三台机 1.创建hadoop用户,hadoopgroup组 groupadd -g hadoopgroup # 创建用户组 useradd -d /opt/hado

RHadoop实践系列之一:Hadoop环境搭建 RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析.Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来替代Java的MapReduce实现.有了RHadoop可以让广大的R语言爱好者,有更强大的工具处理大数据1G, 10G, 100G, TB, PB. 由于大数据所带来的单机性能问题,可能会一去不复返了. RHadoop实践是一套系列文章,主要包括”Hadoop环境搭建”,”RHadoop安装与使用

这里简单用三台虚拟机,搭建了一个两个数据节点的hadoop机群,仅供新人学习.零零碎碎,花了大概一天时间,总算完成了. 环境 Linux版本:CentOS 6.5 VMware虚拟机 jdk1.6.0_45 主要分为一下几步完成 一.安装CentOS 6.5 当然了,如果没有虚拟机,需要先安装VMware,然后新建虚拟机,选择系统镜像即可,复制几台,比如我的机器4G内存,最多复制两台,一共三台. 建议这时候把所有机器进入管理员root权限: [root@blue bin]#su 输入密码即可 二

一.环境选择 1,服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G ip:39.108.77.250 2,配置选择 JDK:1.8 (jdk-8u144-linux-x64.tar.gz) Hadoop:2.8.2 (hadoop-2.8.2.tar.gz) 3,下载地址 官网地址: JDK: http://www.oracle.com/technetwork/java/javase/downloads Hadopp

概要 Spark 单机环境配置 JDK 环境配置 Spark 环境配置 python 环境配置 Spark 使用示例 示例代码 (order_stat.py) 测试用的 csv 文件内容 (orders.csv) 运行结果 概要 大数据和人工智能已经宣传了好多年, Hadoop 和 Spark 也已经发布了很长时间, 一直想试试, 但是工作也遇不到使用的场景, 就一直拖着. 这次在极客时间上选了蔡元楠老师的<大规模数据处理实战>的课. 其中介绍了很多 Spark 的内容, 就此机会, 也在虚拟

1. adb环境配置:下载adb环境变量包:打开计算机属性-高级系统设置-环境变量:新建变量adb,值为刚才的环境变量包路径:编辑path值,在最后面加上;%adb%;确定就妥了 2. 常用adb命令:清除app包名的存储数据:adb shell pm clear 加上app包名,比如adb shell pm clear com.qihoo.huochepiao检查adb环境配置是否成功:adb检查手机有没有成功连接:adb devices(出现手机标识的一串字符即为连接成功)命令行覆盖安装ap

本文转自:https://blog.csdn.net/yangsummer2426/article/details/80499775 1.      首先下载jdk,网址如下: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 如下图,勾选Accept,然后选择Windows版本,点击右边的下载. 下载后的jdk,直接双击运行安装,记住自己的安装目录! 我是直接安装在 默认路径C

下载地址:https://bitbucket.org/appium/appium.app/downloads/ windows安装: 下载 AppiumForWindows.zip 解压 AppiumForWindows.zip 在解压文件夹中,点击 appium-installer.exe 选择安装语言 等待安装完毕 ps:会自动安装node.js,命令行中键入node -v查看是否安装成功node 这是Appium Server(通过cmd键入appium可以打开),还可以自行安装 appi

软件: 1.eclipse php版本下载地址:http://www.eclipse.org/downloads/packages/eclipse-php-developers/heliosr 2.Apache下载地址:http://httpd.apache.org/ 3.PHP下载地址:http://cn2.php.net/ 首先第一步进行Eclipse的安装,若电脑没有配置Java环境,首先下载jdk配置环境,网上教程很多. 安装好Eclipse后即可创建php工程,但没有Apache及本机

硬件配置:1台NameNode节点.2台DataNode节点 一.Linux环境配置 这里我只配置NameNode节点,DataNode节点的操作相同. 1.1.修改主机名 命令:vi /etc/sysconfig/network修改内容:NETWORKING=yesHOSTNAME=master命令:hostname master 1.2.修改ip地址(桥接模式) 命令:vi /etc/sysconfig/network-scripts/ifcfg-eth0修改内容:(保留最简配置)DEVIC

1. 安装jdk 2. 安装配置Andriod sdk 安装Andriod sdk前首先需要安装配置好jdk环境. 然后安装Android sdk 安装完成后需要配置环境变量:ANDROID_HOME. (1)直接将Android sdk解压到对应文件路径下,比如我解压到c盘根目录andriod文件夹下 (2)配置环境变量,系统变量里面添加变量名 ANDROID_HOME 路径为实际存放SDk的路径 (3)其他几个路径添加到系统环境变量Path中如下图所示: 第一个path 第二个path 第三

下载和安装 JDK8 下载 下载地址:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 安装 直接双击运行安装下载的 jdk-8u261-windows-x64.exe 文件,注意记住自己的安装目录 我是直接安装在默认路径 C:\Program Files\Java\jdk1.8.0_202,你也可以选择装在其他路径(例如D盘) 配置环境变量 鼠标右击"我的电脑",点击"属性&

一.driver安装 1.在该下载地址将3个.bin文件下载下来,下载地址:https://download.01.org/intel-sgx/latest/linux-latest/distro/ubuntu20.04-server/ 2.到下载文件夹下输入下面命令,以赋予.bin文件的执行权限 sudo chmod 777 sgx_linux_x64_driver_2.11.054c9c4c.bin 3.运行该bin文件,完成驱动安装 二.准备阶段 1.安装编译SGX SDK要用到的工具 s

话不多说,直接上流程. 1.下载 gradle.zip文件,我以为已经为大家准备好了各个版本的下载地址. 链接: http://pan.baidu.com/s/1hqjIVlE 密码: 8ccb 本人以做gradle-2.9演示.下载到压缩文件到e盘 解压. 右击桌面上的计算机(我的电脑)图标,选择点击 属性.会弹出系统属性. 选择 环境变量.点击新建 编写变量名:GRADLE_HOME 变量值为下载gradle包的解压的路径,我解压路径为E:\gradle-2.9 点击确定. 然后找到path