zookeeper是干嘛的呢 Zookeeper的作用1.可以为客户端管理少量的数据kvkey:是以路径的形式表示的,那就意味着,各key之间有父子关系,比如/ 是顶层key用户建的key只能在/ 下作为子节点,比如建一个key: /aa 这个key可以带value数据也可以建一个key: /bb也可以建key: /aa/xx 2.可以为客户端监听指定数据节点的状态,并在数据节点发生变化是,通知客户端 Zookeeper 安装步骤把包上传linux后解压到apps/[root@hdp-01 ~]…

使用HABSE之前,要先安装一个zookeeper 我以前写的有https://www.cnblogs.com/wpbing/p/11309761.html 先简单介绍一下HBASE HBASE是一个数据库----可以提供数据的实时随机读写 他是一个nosql数据库,并不是结构化的,他只能粗略的进行一些查询,像多表之间的连接查询他是很难做到的(至少我这辣鸡不会). 我也是第一次接触这种nosql,人家的表结构不太一样,就是啥吧, 他有一个行健(类似于主键的东西) 然后剩下的就是你可以定义有几个列…

一.HDFS的常用命令 1.查看根目录下的信息:./hadoop dfs -ls 2.查看根目录下的in目录中的内容:./hadoop dfs -ls in或者./hadoop dfs -ls ./in 3.删除文件:./hadoop dfs -rmr 文件名 4.上传文件到HDFS:./hadoop dfs -put 系统目录下的文件 hadoop目录 5.将HDFS的文件复制到本地:./hadoop dfs -get haddo目录 本地目录 6.查看HDFS下某个文件的内容:./hadoo…

Hive的用处,就是把hdfs里的文件建立映射转化成数据库的表 但hive里的sql语句都是转化成了mapruduce来对hdfs里的数据进行处理 ,并不是真正的在数据库里进行了操作. 而那些表的定义则是储存在了mysql数据库中,他只是记录相应表的定义 所以你的集群中要有一台机器装了mysql 装hive,装到哪都行 然后解压tar –zxvf xxxxx –C apps 然后进入到这个目录里下的conf里 创建hive-site.xml文件 告诉他mysql在哪,连接驱动是啥,用户名和密码…

一.前言 找了一个视频教程开始学习webpack,跟着视频学习,在自己的实际操作中发现,出现了很多问题.基本上都是因为版本的原因而导致,自己看的视频是基于webpack 1.x版,而自己现在早已是webpack 4.X了.觉得学习还是要以最新的来,也许以后并不会再接触到1.x的.不过了解不同版本更迭的问题,也是一个学习过程,更加了解这个东西.这个文章主要是针对一次js打包体验中出现的许多问题,更多的在于对webpack的一次认识. 二.正式使用webpack前的准备 我们需要新建一个项目来练习w…

hadoop学习及实践笔记—— HDFS shell命令行常见操作 附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后,输入hadoop fs命令,即可显示HDFS常用命令的用法 [hadoop@localhost hadoop-2.5.2]$ hadoop fs Usage: hadoop fs [ge…

ZooKeeper学习之一:安装及命令行使用 一直都想着好好学一学分布式系统,但是这拖延症晚期也是没得治了,所以干脆强迫自己来写一个系列博客,从zk的安装使用.客户端调用.涉及到的分布式原理.选举过程及Paxos算法,一步步的讲清学习的历程.现在开始第一篇,zk的安装及命令行使用. 本文为ZooKeeper官方文档的自我理解版. 安装 笔者为mac环境,类似于Linux环境因此直接下载了3.4.10稳定版的安装包,解压后放在/Users/imac/zookeeper-3.4.10目录下. 修改c…

spark和mapreduce差不多,都是一种计算引擎,spark相对于MapReduce来说,他的区别是,MapReduce会把计算结果放 在磁盘,spark把计算结果既放在磁盘中有放在内存中,mapreduce把可能会把一个大任务分成多个stage,瓶颈发生在IO,spark有一个叫DAG(有向无环图)的东西,可以把多个算子都放在一个stage进行合并. spark shuffle的时候一定会把数据放在磁盘中,因为如果在shuffle的时候数据丢失,代价特别的昂贵 spark和mapredu…

mac安装GNU命令行工具 2.添加的repo     tap home/dupes        brew install coreutils  binutils  diffutils  ed --default-names  findutils --default-names  gawk  gnu-indent --default-names  gnu-sed --default-names  gnu-tar --default-names  gnu-which --default-name…

macos的很多用户都是做it相关的人,类unix系统带来了很多方面,尤其是经常和linux打交道的人. 但是作为经常使用linux 命令行的人发现macos中的命令行工具很多都是bsd工具,跟linux下得使用方式开始差距挺大的,那么怎么安装GNU命令行工具,然后更舒服的在macos和linux之间切换呢? 于是找到了下面的文章,顺带翻译下. 原文地址:Install and Use GNU Command Line Tools on Mac OS X | Hong Xu 如果你是从Linux…

Django之win7下安装与命令行工具 下载安装 pip3 install django 注意:自动添加环境变量 测试是否安装成功 1.输入python 2.输入import django 3.输入django.get_version() django实现流程 1.创建project django-admin startproject mysite 2.创建APP python mannage.py startapp app01 3.settings配置 TEMPLATES STATICFIL…

HDFS的shell(命令行客户端)操作实例 3.2 常用命令参数介绍 -help 功能:输出这个命令参数手册 -ls                  功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls /   等同于上一条命令的效果 -mkdir              功能:在hdfs上创建目录 示例:hadoop fs  -mkdir  -p …

你使用 Web 平台安装程序命令行工具 获取的软件由其所有者授权给你.Microsoft 未授予你第三方软件的任何权利.已成功加载主源: https://go.microsoft.com/?linkid=9842185已成功加载自定义源: http://api.devsense.com/webpi/1.4/webproducts.xml将要安装以下软件:EULA:将从“http://sourceforge.net/projects/phpinstallermsi/files/zip/php-7.…

在安装之前,请确保已安装Git和NodeJS. cmd机内命令窗口,输入以下命令: git config --system http.sslcainfo /bin/curl-ca-bundle.crt git clone --recursive git://github.com/isaacs/npm.git cd npm npm install -d 设置国内镜像: npm config set registry http://registry.npmjs.vitecho.com 查看安装信息…

摘要 由于机器人SLAM.自动导航.语音交互这一系列算法都在机器人操作系统ROS中有很好的支持,所以后续的章节中都会使用ROS来组织构建代码:而ROS又是安装在Linux发行版ubuntu系统之上的,先学一些Linux命令行相关的知识,对后续ROS教程的快速上手会大有帮助.由于后续ROS的开发都是在Linux发行版ubuntu系统上进行,所以本章节就以ubuntu系统为例,对Linux命令行相关的知识进行展开讲解,本章节主要内容: 1.Linux简介 2.安装Linux发行版ubuntu系统 3…

Mysql命令行常用操作 一.从命令行登录MySQL数据库服务器 1.登录使用默认3306端口的MySQL /usr/local/mysql/bin/mysql -u root -p 2.通过TCP连接管理不同端口的多个MySQL(注意:MySQL4.1以上版本才有此项功能) /usr/local/mysql/bin/mysql -u root -p --protocol=tcp --host=localhost --port=3307 3.通过socket套接字管理不同端口的多个MySQL /…

不知道下边这一段英文你们是不是能看懂,如果看不懂那就算了,我就是转过来随便看看的. 总之你记住nodeos.cleos和keosd这三个工程十分重要就行了,回头咱们的研究都从这三个工程杀进去. EOSIO comes with a number of programs. The primary ones that you will use, and the ones that are covered here, are: nodeos - server-side blockchain node…

本文主要介绍使用windows下的使用cmd命令行窗口操作Sqlserver, 首先我们可以运行 osql  ?/   ,这样就把所有可以通过CMD命令行操作sqlserver的命令显示出来 (有图有真相) 然后我们知道connect 服务器是-S,登陆ID是-U,密码是-P 那我们现在来操作试试看. 运行 osql -S [数据库服务器] -U [登陆用户名] -P [登陆密码] 出现 1> 表示连接成功,这时候你可以输入sql语句来进行操作了. 以CMD命令行来操作Sqlserver,Dot…

不知道下边这一段英文你们是不是能看懂,如果看不懂那就算了,我就是转过来随便看看的. 总之你记住nodeos.cleos和keosd这三个工程十分重要就行了,回头咱们的研究都从这三个工程杀进去. EOSIO comes with a number of programs. The primary ones that you will use, and the ones that are covered here, are: nodeos - server-side blockchain node…

原文地址:http://blog.jboost.cn/2019/06/16/use-git.html 对于软件开发人员来说,git几乎是每天都需要接触的工具.但对于相处如此亲密的工作伙伴,你对它的了解又有多少,是不是还在傻瓜式地打开一个GUI工具,点击提交按钮,然后“卧槽,又冲突了”,一脸懵逼到不知所措,责怪谁又在你前面提交了,谁又改了你的代码. 博主从一开始接触git,就没用过任何GUI工具,都是通过命令行进行操作,发现这种方式不仅对git的理解更深,效率也更高,遇到问题时一般都知道如何来处理…

redis常用的命令行以及操作 转载酱紫人的理直气壮 最后发布于2018-07-30 17:00:41 阅读数 805  收藏 转载地址:https://blog.csdn.net/li_lening/article/details/81288121 Redis简介: 1.Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言的API. 2.几个特点: 存储的数据类型 字符串,散列,列表,集合,有序集合 内存存储持久化 内…

说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1) 1.安装vmmare,创建3台虚拟机名字为hadoop1,hadoop2,hadoop3,都是centos6.5操作系统,网络选择桥接模式如图 2.创建完虚拟机后,启动虚拟机,然后运行ifconfig发现eth0网卡没有,这时不用急,去这个目录下找到ifcfg-eth0文件,然后…

zookeeper是一个自动管理分布式集群的一个工具,以实现集群的高可用. 比如集群中的一个机器挂掉了,没有zookeeper的话就得考虑挂一个机器对剩下集群工作的影响,而有了zookeeper,它就能自动帮你协调这些事儿. 正规的解释如下: zookeeper是 一个开源的针对大型分布式系统的可靠协调系统. 设计目标是:将复杂且容易出错的分布式式一致性服务封装起来,构成一个高效可靠的原语集, 并以简单易用的接口提供给用户使用. 提供的功能包括:发布/订阅,分布式协调/通知,配置管理,集群管理,…

[参考文章]:[分布式]Zookeeper使用--命令行 [参考文章]:zookeeper的数据模型 [参考文章]:zookeeper ACL使用 1. 安装包下载 官方下载地址 选择一个具体的版本进行下载安装,官方安装包也可能有问题,一般不要选择最新的版本. 下载解压后查看目录是否有缺失,比如 缺失lib 目录会导致找不到主类. 2. 解压安装 tar  -zxvf  zookeeper-3.4.9.tar.gz 解压后目录如下: 重命名 conf 下的 zoo_samole.cfg  文件为…

文章更新时间:2020/06/07 一.安装JDK 过程就不过多介绍了... 二.安装Zookeeper 安装过程可以参考此处~ 三.安装并配置kafka Kafka下载地址  http://kafka.apache.org/downloads 解压文件(我的目录是E:\zhanghaoBF\kafka\kafka_2.11-2.3.0   [PS:这里不要在Program Files等文件名之间有空格的目录下,不然一会执行会不识别路径]) 打开目录E:\zhanghaoBF\kafka\kaf…

导言 CSS不是一门真正意义上的编程语言,很多编程语言理所当然的特性(比如变量),都不被支持.同时再开发模块化的web项目的时候,也要避免相互干扰.为了弥补CSS的这些不足,就产生了CSS预处理器,Sass则是其中的佼佼者. 什么是Sass Sass是最成熟.稳定.强大.专业的CSS扩展语言(官方解释).直白点,Sass就是一个非常好用的CSS预处理器,为css引入部分编程语言的特性. Sass在现阶段,有两种编码的语法,一个是兼容CSS语法的Scss格式文件,一个是Haml.Ruby类似语法的…

Phoenix Phoenix是HBase的开源SQL皮肤.可以使用标准JDBC API代替HBase客户端API来创建表,插入数据和查询HBase数据. 1.特点 1) 容易集成:如Spark,Hive,Pig,Flume和Map Reduce. 2) 性能好:直接使用HBase API以及协处理器和自定义过滤器,可以为小型查询提供毫秒级的性能,或者为数千万行提供数秒的性能. 3) 操作简单:DML命令以及通过DDL命令创建表和版本化增量更改. 4) 安全功能: 支持GRANT和REVOKE…

rvm是一个命令行工具,可以提供一个便捷的多版本ruby环境的管理和切换. https://rvm.io/ 如果你打算学习ruby/rails, rvm是必不可少的工具之一. 这里所有的命令都是再用户权限下操作的,任何命令最好都不要用sudo. rvm安装 $ curl -L get.rvm.io | bash -s stable $ source ~/.bashrc $ source ~/.bash_profile 修改 RVM 的 Ruby 安装源到国内的 淘宝镜像服务器,这样能提高安装速度…

Git 安装配置 Windows 平台上安装 在 Windows 平台上安装 Git 同样轻松,有个叫做 msysGit 的项目提供了安装包,可以到 GitHub 的页面上下载 exe 安装文件并运行: 安装包下载地址:https://git-scm.com/download/win 安装完后,就可以打开命令行控制台进行操作: Git 配置 Git 提供了一个叫做 git config 的工具,专门用来配置或读取相应的工作环境变量. 这些环境变量,决定了 Git 在各个环节的具体工作方式和行为.…

Linux 目录 /:根目录,一般根目录下只存放目录,在Linux下有且只有一个根目录.所有的东西都是从这里开始.当你在终端里输入“/home”,你其实是在告诉电脑,先从/(根目录)开始,再进入到home目录. /bin./usr/bin: 可执行二进制文件的目录,如常用的命令ls.tar.mv.cat等. /boot:放置linux系统启动时用到的一些文件,如Linux的内核文件:/boot/vmlinuz,系统引导管理器:/boot/grub. /dev:存放linux系统下的设备文件,访问…