安装环境: 机器 只需要安装一台机器      操作系统:Ubuntu 11.04 64操作系统      hadoop:版本是1.0.2,安装在/usr/local/hadoop      sun jdk:版本是1.6.0_31 64bit,安装在/usr/local/jdk      hive:版本是0.8.1,安装在/usr/local/hive 安装步骤: 1.下载 下载hive:http://labs.mop.com/apache-mirror/hive/hive-0.8.1/hive…

Hive是为了解决hadoop中mapreduce编写困难,提供给熟悉sql的人使用的.只要你对SQL有一定的了解,就能通过Hive写出mapreduce的程序,而不需要去学习hadoop中的api. 在部署前需要确认安装jdk以及Hadoop 如果需要安装jdk以及hadoop可以参考我之前的博客: Linux下安装jdk Linux下安装hadoop伪分布式 在安装之前,先了解下Hive都有哪些东西. 下载并解压缩 去主页选择镜像地址: http://www.apache.org/dyn/c…

MariaDB Galera Cluster部署手册 galara保证双主数据库的同步及一致性 1.环境准备 基于新部署.最小化安装centos6.5 1>  yum install openssh-clients  vim  wget 2 >   /etc/init.d/iptables stop;chkconfig iptables off 3>    setenforce 0:sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/s…

LVS+MYCAT+读写分离+MYSQL主备同步部署手册 1          配置MYSQL主备同步…. 2 1.1       测试环境… 2 1.2       配置主数据库… 2 1.2.1         编辑my.cnf文件… 2 1.2.2         重启数据库… 2 1.3       锁定主数据库DDL操作… 2 1.4       主备已有数据同步… 2 1.5       停止从服务… 3 1.6       配置备用数据库… 3 1.6.1         编辑my…

LVS+MYCAT+读写分离+MYSQL主备同步部署手册 1          配置MYSQL主备同步…. 2 1.1       测试环境… 2 1.2       配置主数据库… 2 1.2.1         编辑my.cnf文件… 2 1.2.2         重启数据库… 2 1.3       锁定主数据库DDL操作… 2 1.4       主备已有数据同步… 2 1.5       停止从服务… 3 1.6       配置备用数据库… 3 1.6.1         编辑my…

2019-04-01 关键字:Hive 学习总结.Hive 基础 . Hive 进阶 .Hive 调优 . Hive 入门手册.Hive PDF 下载 本篇文章系本人就目前所掌握的知识对 Apache Hive 的各种零碎知识点汇总而成的一篇小册子,不保证文章的绝对.完全正确性. 前段时间在整理我的笔记时,发现自己之前在学习 Hive 的过程中做了不少笔记.但是这些笔记真是既杂乱又无章,我相信就这些笔记,我这辈子都很难有到回去翻看的念头.一时间 “整理癖” 发作,且想着借笔记整理的过程再好好回顾…

OpenStack Kilo版加CEPH部署手册 作者: yz联系方式: QQ: 949587200日期: 2015-7-13版本: Kilo 转载地址: http://mp.weixin.qq.com/s__biz=MzAxOTAzMDEwMA==&mid=209225237&idx=1&sn=357afdabafc03e8fb75eb4e1fb9d4bf9&scene=5&ptlang=2052&ADUIN=724042315&ADSESSION…

Oracle 11G RAC For Windows 2008 R2部署手册(亲测,成功实施多次) https://www.cnblogs.com/yhfssp/p/7821593.html 总体规划 服务器规划 1.建议使用两台硬件配置一模一样的服务器来作为 RAC 环境的两个物理节点 2.服务器至少需要配置两块物理网卡 3.服务器规划表: 节点 主机名 本地磁盘大小 操作系统 内存大小 虚拟内存大小 节点 1 RAC1 600GB Windows_Server_2008_R2_X64 128…

Javamelody部署手册 1.  Javamelody下载 下载地址:http://code.google.com/p/javamelody/downloads/list(注:需要FQ才能打开下载地址) 2.  Javamelody部署(以javamelody-1.49.0.war为例) (1).将javamelody-1.49.0.war复制到Tomcat发布目录下(webapps). (2).在被监控项目web.xml中加入如下代码 (靠前加) <filter> <filter-…

转载  http://xiaxiaoguo.blog.51cto.com/858884/402810 Symantec Backup Exec部署手册 目录 1.Backup Exec 12.5安装... 1 2.设置备份路径... 10 3.覆盖和附加策略... 11 4.BE客户端Agent安装... 12 5.备份作业的设定... 15 6.文件恢复... 20 7.SQL数据库的恢复... 21 1.Backup Exec 12.5安装 双击Symantec backup exec安装程…

前言: 非常详细的K8s的完整部署手册,由于Kubernetes版本和操作系统的版本关系非常敏感,部署前请查阅版本关系对应表 地址:https://github.com/kubernetes/kubernetes/releases 1.实践环境准备 服务器虚拟机准备 IP 地址 192.168.1.11 192.168.1.12 节点角色 master and etcd worker CPU >=2c >=2c 内存 >=2G >=2G 主机名 master node 节点数量 1…

翻译Hive官方文档系列,文中括号中包含 注: 字样的,为我自行标注的,水平有限,翻译不是完美无缺的.如有疑问,请参照Hive官方文档对照查看.   内容列表 Cloudera制作的Hive介绍视频 安装与配置 系统需求 安装Hive发行版 从Hive源码编译 运行Hive 配置管理概览 运行时配置 Hive, Map-Reduce 与本地模式 错误日志 DDL 操作 元数据存储 DML 操作 SQL 操作 查询示例 SELECTS 和 FILTERS GROUP BY JOIN MULTITA…

1.1 2 :搭建Hive环境 内容 2.2 3  运行环境说明 1.1  硬软件环境 线程,主频2.2G,6G内存 l  虚拟软件:VMware® Workstation 9.0.0 build-812388 l  虚拟机操作系统:CentOS 64位,单核,1G内存 l  JDK:1.7.0_55 64 bit l  Hadoop:1.1.2 1.2  机器网络环境 个namenode.2个datanode,其中节点之间可以相互ping通.节点IP地址和主机名分布如下: 序号 IP地址 机器…

原文:http://slaytanic.blog.51cto.com/2057708/939950 翻译Hive官方文档系列,文中括号中包含 注: 字样的,为我自行标注的,水平有限,翻译不是完美无缺的.如有疑问,请参照Hive官方文档对照查看.   内容列表 Cloudera制作的Hive介绍视频 安装与配置 系统需求 安装Hive发行版 从Hive源码编译 运行Hive 配置管理概览 运行时配置 Hive, Map-Reduce 与本地模式 错误日志 DDL 操作 元数据存储 DML 操作 S…

MySQL Group Replication(简称MGR)是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案.MGR是MySQL官方在5.7.17版本引进的一个数据库高可用与高扩展的解决方案,以插件形式提供,实现了分布式下数据的最终一致性, 它是MySQL5.7版本出现的新特性,它提供了高可用.高扩展.高可靠的MySQL集群服务.MySQL组复制分单主模式和多主模式,mysql 的复制技术仅解决了数据同步的问题,如果 master 宕机,意味着数据库管理员需要介入,应用…

在平时运维工作中,经常需要用到LNMP应用框架.以下对LNMP环境部署记录下: 1)前期准备:为了安装顺利,建议先使用yum安装依赖库[root@opd ~]#yum install -y make cmake gcc gcc-c++ autoconf automake libpng-devel libjpeg-devel zlib libxml2-devel ncurses-devel bison libtool-ltdl-devel libiconv libmcrypt mhash mcry…

1.下载hive:wget http://mirrors.cnnic.cn/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz2.解压hive安装文件 tar -zvxf hive-0.12.0.tar.gz3.配置hive环境变量,初始化hive在hdfs上的工作目录(因此在部署hive之前,请确保已经完整的部署了hadoop,并设置好相关的环境,hadoop版本是2.2.0,才和此hive版本相符) vi /etc/profile 添加环境变量值  expo…

准备工作 安装 JDK8 安装图片处理工具:GraphicsMagick1.3.20,下载地址 安装 Maven 准备 IDE (如果你不看源码,可以忽略下面的步骤,直接通过Maven编译war包) IDE 需要配置的东西 编码方式设为UTF-8 配置Maven 设置JDK8 如果没有使用过maven工具, 请自行百度学习; 以上配置在不同的IDE有不同的配置方式, 不介意的话, 您也顺便百度了吧. 获取代码导入到IDE 从 http://git.oschina.net/mtons/mblog …

Hive DDL(数据定义语言) Confluence Administrator创建, Janaki Lahorani修改于 2018年9月19日 原文链接 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 翻译:Google Google翻译,金山软件 金山词霸 校对:南大通用 范振勇 (2018.9.26) 一.概述 这里是HiveQL DDL语句的文档,其中包括: CREATE 数据库/SCHEMA,表…

ShowDoc介绍 关于ShowDoc的介绍,请访问:http://blog.star7th.com/2015/11/1816.html 环境依赖 1.必需环境 PHP5.3以上版本.php-gd库 2.可选环境 php-mysql模块.php-pdo模块.mysql数据库 ShowDoc默认使用Sqlite数据库,数据库文件在/Sqlite目录下.PHP环境默认支持Sqlite,无需额外安装其他数据库.如果想使用Mysql数据库,则需要安装环境并参考下文的数据库配置说明做相应配置. ###安装…

参考:https://secure.phabricator.com/book/phabricator/article/installation_guide/ 概述 phabricator,由facebook公司开发,是一个开源的代码审查系统,帮助软件公司建立更好的软件.该系统能够部署在多数linux发行版以及os x系统上.本文档仅是该系统部署的一个简单指导,详细内容请查看官网说明和解释,本说明的部署仅针对Ubuntu 14.04 LTS版本操作系统. 安装 脚本 官方网站提供了一个安装脚本,大…

概述 gerrit是谷歌开发用于安卓系统的代码审查的系统,目前已经开源.gerrti使用简单并友好.这里记录了gerrti的部署方法以及其中可能存在的陷阱和问题. 创建专属系统用户 Gerrit code review推荐使用一个独立的用户执行操作,当然这不是必须的.但是这个用户必须具有对配置中设定的git路径持有读写权限! 下载安装包 wget http://gerrit-releases.storage.googleapis.com/gerrit-2.8.war 目前最新版本2.12 安装依…

1      配置MYSQL主备同步 1.1    测试环境 mysql版本:5.6.24: 操作系统内核版本:Linux-3.13-0-32 主数据库IP:192.168.10.3: 主数据库名:db351353: 备用数据库IP:192.168.10.4: 备用数据库名:db351353. 1.2    配置主数据库 1.2.1   编辑my.cnf文件 #服务器唯一ID,一般取IP最后一段 server_id = 3 #启用二进制日志 log_bin=mysql_bin #需要备份的数据库…

前置环境:CentOS 6.5 + JDK 1.7 + Hadoop 2.6 注:此处采用伪分布安装Hadoop,平时测试使用,Hive的元数据信息使用MySQL存储 一.安装MySQL 1.检查是否安装MySQL,若安装则卸载 # rpm -e --nodeps ·rpm -qa | grep mysql· #注意后面是两个`号 2.在线安装MySQL,并启动 # yum -y install mysql # service mysqld start# chkconfig myqld on #…

目前新浪云上的应用支持通过Git和SVN来部署代码. Git仓库地址 https://git.sinacloud.com/YOUR_APP_NAME SVN仓库地址 https://svn.sinacloud.com/YOUR_APP_NAME 用户名 新浪云安全邮箱 密码 新浪云安全密码 注解 用户名和密码为安全邮箱和安全密码,不是微博账号和微博密码!如已启用微盾动态密码,则密码应该是"安全密码"+"微盾动态密码" 使用Git客户端 注解 Git代码部署只支持新创…

根据项目开发需求,要在MEC服务器上部署如下内容:Nginx.Nginx push stream module.Jason CPP.Spawn-fcgi.libfcgi.Redis.Hiredis.Boost.SCTPlib.Asn1c. 记录下部署过程和遇到的一些坑,以备后用.本文所有包源目录为/usr/src. 1. 安装Nginx依赖包: 安装Nginx需要先安装openssl.zlib.pcre这几个依赖包.若未安装参照如下步骤: (1)Openssl:Openssl用于SSL功能. 下…

一.前情提要 关于inkscope就不做过多介绍了,就是ceph的一个开源管理控制平台,跟ceph官方的calamary以及intel的VSM差不多一类,只是各自侧重点不一样. 相对而言,因为inkscope使用的是ceph自带的restapi,因此是比较轻量级的,ceph集群相关的信息直接从API调,系统层面的信息抓取是通过本地一个代理程序抓取,然后写入inkscope所在节点的mongodb里. 1.1 官方地址 github-inkscope inkscope角色介绍 inkscope主要…

1.用root登录主机2.将redis-3.0.7.tar.gz传送到主机3.将rubygems-update-2.5.2.gem,redis-3.0.0.gem传送到主机4.解压redis-3.0.7.tar.gz5.make , make test, make MALLOC=libc , make install6.mkdir 7000, mkdir 70017.cd 7000 vi redis.conf 添加如下 ######################################…

为什么不用CentOS而用Ubuntu作为生产环境的运行平台?这个我也比较好奇,公司订的只能沿用传统,从使用成本的角度来说,此举也是值得肯定的. 测试环境 腾讯云 Ubuntu 16.04 阿里云 Ubuntu 16.04 开启Root账号ssh登录 1.修改配置文件 使用命令:sudo vi /etc/ssh/sshd_config打开文件,找到配置: PermitRootLogin prohibit-password 修改成: PermitRootLogin yes 2.重启ssh sudo…

ProxySQL是一个高性能的MySQL中间件,拥有强大的规则引擎.ProxySQL是用C++语言开发的,也是percona推的一款中间件,虽然也是一个轻量级产品,但性能很好(据测试,能处理千亿级的数据),功能也足够,能满足中间件所需的绝大多数功能. ProxySQL具备了很多优质特性,具体总结如下:-> 连接池,而且是multiplexing-> 主机和用户的最大连接数限制-> 自动下线后端DB     -> 延迟超过阀值     ->  ping 延迟超过阀值     -…