-help 功能:输出这个命令参数手册 -ls                  功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls /   等同于上一条命令的效果 -mkdir              功能:在hdfs上创建目录 示例:hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd -moveFromLocal      

项目中经常会用到同一个页面,结构是相同的,我只是在vue-router中通过添加参数的方式来区分状态,参数可以在页面跳转时带上params,或者query,但是有一个问题,即使我们修改了参数,URL也显示已经改变,但页面并不会刷新,因为路由是相同的,vue就会认为你是同一个页面,从而复用已加载的页面,而不会重新加载,所以如果在created钩子中来区分状态明显是行不通的,可以通过watch监听事件来监听路由的变化: watch: {           '$route' (to, from) {

  1)JobTracker运行时参数: hadoop@ubuntu:/home/zhangchao3$ ps -ef | grep job hadoop 29563 1 0 11:34 pts/12 00:00:24 /home/hadoop/jdk1.7.0_60/bin/java -Dproc_jobtracker -Xmx1000m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote -Dcom.sun.manage

启动HiveServer2: cd $HIVE_HOME/bin 以后台方式默认端口启动HiveServer2(默认端口是10000):hiveserver2 & 以后台方式指定端口的方式启动:hiveserver2 --hiveconf hive.server2.thrift.port=14000 & 使用beeline连接HiveServer2: cd $HIVE_HOME/bin beeline -u jdbc:hive2://hadoop000:14000 参数描述: hadoop

  引言 本文出于一个疑问:hadoop namenode -format到底在我的linux系统里面做了些什么? 步骤 第1个文件bin/hadoop Hadoop脚本位于hadoop根目录下的bin目录下, 打开之后阅读源代码:

原因分析 CDH 集群环境没有对 Container分配足够的运行环境(内存) 解决办法 需要修改的配置文件,将具体的配置项修改匹配集群环境资源.如下: 配置文件 配置设置 解释 计算值(参考) yarn-site.xml yarn.nodemanager.resource.memory-mb 分配给容器的物理内存数量 = 52 * 2 =104 G yarn-site.xml yarn.scheduler.minimum-allocation-mb 容器可以请求的最小物理内存量(以 MiB 为

1. $HADOOP_HOME/bin/ hadoop #!/usr/bin/env bash# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information regarding copyright owners

[root@hadoop3 hadoop]# xloStarting namenodes on [hadoop3]上一次登录:三 12月 27 15:07:11 CST 2017pts/24 上hadoop3: ERROR: Cannot set priority of namenode process 9025Starting datanodes上一次登录:三 12月 27 15:16:59 CST 2017pts/24 上hadoop3: ERROR: Cannot set priority

1.下载java 7并安装 [root@server- ~]# rpm -ivh jdk-7u40-linux-x64.rpm Preparing... ########################################### [%] :jdk ########################################### [%] Unpacking JAR files... rt.jar... jsse.jar... charsets.jar... tools.jar..

sqoop 执行可以以job形式 也可以执行用命令执行,再用sqoopjob时,踩了几个坑,分享一下 1.服务器重启 由于服务器增加硬盘,需要重启后,发现sqoop job 无法执行,报连接数据库IO之类的错误,但是sqoop命令是可以执行的, 这也就奇怪了,刚开始以为是连接不上hadoop元数据库,但是sqoop命令可以执行,这就比较坑了. 通过同不断的查找分析发现,最后竟然是sqoop自带的元数据库没启动. 通过sqoop安装目录bin下的start-metastore.sh 可以重启. 以

Hadoop是Apache基金会的开源项目,为开发者提供了一个分布式系统的基础架构,用户可以在不了解分布式系统的底层细节的情况下开发分布式的应用,充分利用集群的强大功能,实现高速运算和存储.Hadoop项目中包括一个分布式的文件系统HDFS,一个分布式的并行编程框架mapreduce,以及包括hive,hbase,mahout,pig,zookeeper,avro,chukwa在内的诸多子项目. Hadoop主要的两部分分别是分布式存储HDFS和分布式计算mapreduce.Hdfs是一个mas

1. 主机规划 主机名称 外网IP 内网IP 操作系统 备注 安装软件 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 ssh port:22 Hadoop [NameNode  SecondaryNameNode] mini02 10.0.0.12 172.16.1.12 CentOS 7.4 ssh port:22 Hadoop [ResourceManager] mini03 10.0.0.13 172.16.1.13 CentOS 7.4 ssh port

基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用 HBase是一种分布式.面向列的NoSQL数据库,基于HDFS存储,以表的形式存储数据,表由行和列组成,列划分到列族中.HBase不提供类SQL查询语言,要想像SQL这样查询数据,可以使用Phonix,让SQL查询转换成hbase的扫描和对应的操作,也可以使用现在说讲Hive仓库工具,让HBase作为Hive存储. Hive是运行在Hadoop之上的数据仓库,将结构化的数据文件映射为一张数据库表,提供简单类SQL查询语言,称为

通过hue的web界面进行hive的sql查询,无法显示结果并报错timeout 报错如下:[28/Jul/2017 11:23:29 +0800] decorators ERROR error running <function execute at 0x7fa741ddc8c0>Traceback (most recent call last): File "/home/hadoop/.versions/hue-3.10.0/desktop/libs/notebook/src/n

由ControllerA跳转到controllerB,在controllerB中选择一个参数的值,并将它传回给controllerA. 首先,在controllerB的.h文件中写入: @interface ViewControllerB :UIViewController //定义一个block,返回值为“void”(无返回值),参数类型为 id ,名称为aBlock typedef void(^aBlock)(id); //声明一个上一行定义的block,这个实例化的block的名字叫做“e

hive-client Heap大小的配置优先级 其实主要解决,hive作为数据仓库(hive -e "select ····") 如果是分区表且分区较多可能导致hive 堆内存溢出情况 ==注意:HEAP大小配置优先级有配置语句顺序无关== 以下为hive 堆配置的优先级 由大到小 vi conf/hive-env.sh export HADOOP_CLIENT_OPTS=" -Xmx3000m" > if···Xms512m -Xmx2048m··fi &

elasticsearch-hadoop是一个深度集成Hadoop和ElasticSearch的项目,也是ES官方来维护的一个子项目,通过实现Hadoop和ES之间的输入输出,可以在Hadoop里面对ES集群的数据进行读取和写入,充分发挥Map-Reduce并行处理的优势,为Hadoop数据带来实时搜索的可能. 项目网址:http://www.elasticsearch.org/overview/hadoop/ 运行环境: CDH4.ElasticSearch0.90.2 http://www.

创建三台虚拟机,IP地址为:192.168.169.101,192.168.169.102,192.168.169.103 将192.168.169.102为namenode,192.168.169.101,192.168.169.103为datanode 关闭防火墙,安装JDK1.8,设置SSH无密码登录,下载Hadoop-2.8.2.tar.gz到/hadoop目录下. 1 安装namenode结点 将hadoop-2.8.2.tar.gz解压到192.168.169.102的hadoop用

废话不多说直接实战,部署Hadoop高性能集群: 拓扑图: 一.实验前期环境准备: 1.三台主机配置hosts文件:(复制到另外两台主机上) [root@tiandong63 ~]# more /etc/hosts   192.168.199.3 tiandong63192.168.199.4 tiandong64192.168.199.5 tiandong65 2.创建Hadoop账号(另外两台主机上都的创建) [root@tiandong63 ~]#useradd -u 8000 hadoo

一.介绍 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据.Hadoop的框架最核心的设计就是:H

public static void RegisterRoutes(RouteCollection routes) { routes.IgnoreRoute("{resource}.axd/{*pathInfo}"); routes.MapRoute( "Default", // 路由名称 "{controller}/{action}/{id}", // 带有参数的 URL new { controller = "Home",