presto 0.166安装部署
系统:linux
java:jdk 8,64-bit
Connector:hive
分布式,node1-3
node1:Coordinator 、 Discovery service
node2-3:Worker
开始安装部署
除了标红的需要在node2-3上特殊处理,其他设置和node1一样,下面以node1为例
Presto Server配置
解压缩presto-server-0.166.tar.gz
tar zxvf presto-server-0.166.tar.gz 在presto-server-0.166目录下创建etc目录
cd presto-server-0.166
mkdir etc 在etc目录下创建catalog目录
cd etc
mkdir catalog 在catalog目录下创建文件hive.properties,文件内容如下:
connector.name=hive-hadoop2
hive.metastore.uri=thrift://node1:9083
hive.config.resources=/home/orco/resources/hadoop-2.7.3/etc/hadoop/core-site.xml, /home/orco/resources/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 在etc目录下创建config.properties文件,文件内容如下:
# 在非node1上设置为false
coordinator=true
# 实验环境下一般是true,生产环境还是让coordinator那个节点别干worker的事情吧,设置成false
node-scheduler.include-coordinator=false
# zeeplin是8080
http-server.http.port=8081
query.max-memory=512MB
query.max-memory-per-node=512MB
discovery-server.enabled=true
discovery.uri=http://node1:8081 在etc目录下创建jvm.config文件,文件内容如下:
-server
-Xmx1G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p 在etc目录下创建node.properties文件,文件内容如下:
node.environment=production
# id要唯一,node2的id是node2等
node.id=node1
node.data-dir=/home/orco/resources/presto-server-0.166/presto_data
Presto Client配置
把客户端jar包放置在presto-server-0.166/bin目录下
mv presto-cli-0.166-executable.jar presto-server-0.166/bin/ 修改客户端jar包名为presto
mv presto-cli-0.166-executable.jar presto 修改presto客户端jar包权限
chmod +x presto 把presto添加到环境变量中(~/.bash_profile)
export PRESTO_HOME=/home/orco/resources/presto-server-0.166
export PATH=$PRESTO_HOME/bin:$PATH 使得环境变量立即生效
source ~/.bash_profile
启动Presto
Presto依赖HDFS和Hive metastore 启动HDFS
/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh 启动Hive metastore
sudo service mysqld start
nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 & 启动Presto,三台都各自启动
/home/orco/resources/presto-server-0.166/bin/launcher start 查看Presto Web UI
http://node1:8081 启动Presto客户端
presto --server node1:8081 --catalog hive --schema default server:指的是Coordinator的地址,配置在config.properties 中 hive:用的是hive的connector default:用的是hive的default数据库
presto 0.166安装部署的更多相关文章
- Storm-0.9.0.1安装部署 指导
可以带着下面问题来阅读本文章: 1.Storm只支持什么传输 2.通过什么配置,可以更改Zookeeper默认端口 3.Storm UI必须和Storm Nimbus部署在同一台机器上,UI无法正常工 ...
- kafka_2.11-2.0.0_安装部署
参考博文:kafka 配置文件参数详解 参考博文:Kafka[第一篇]Kafka集群搭建 参考博文:如何为Kafka集群选择合适的Partitions数量 参考博文:Kafka Server.prop ...
- 大数据篇:DolphinScheduler-1.2.0.release安装部署
大数据篇:DolphinScheduler-1.2.0.release安装部署 1 配置jdk #查看命令 rpm -qa | grep java #删除命令 rpm -e --nodeps xxx ...
- [DPI][suricata] suricata-4.0.3 安装部署
suricata 很值得借鉴.但是首先还是要安装使用,作为第一步的熟悉. 安装文档:https://redmine.openinfosecfoundation.org/projects/suricat ...
- zabbix4.0.1 安装部署
zabbix安装部署 目录 一.环境准备... 3 1.1.版本:... 3 1.2.部署环境... 3 二.安装部署... 3 2.1.zabbix安装... 3 2.1.1.下载zabbix的rp ...
- Hbase-2.0.0_01_安装部署
该文章是基于 Hadoop2.7.6_01_部署 进行的 1. 主机规划 主机名称 IP信息 内网IP 操作系统 安装软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 C ...
- Hadoop1.0.3安装部署
0x00 大数据平台相关链接 官网:http://hadoop.apache.org/ 主要参考教程:http://www.cnblogs.com/xia520pi/archive/2012/05/1 ...
- jumperserver3.0的安装部署
适用于jumperserver版本:v0.3.1-2 官网:http://www.jumpserver.org/ 系统:centos7.2 基本安装 备注:如果是centos系统最好使用基本安装,否 ...
- zabbix3.0.4安装部署与SendEmail报警配置
MySQL:5.6.21 nginx:1.62 PHP:5.7 pcre:8.32 zabbix:3.0.4 LNMP安装步骤略过 # tar xvf zabbix-3.0.4.tar.gz # cd ...
随机推荐
- 在VS中调试javascript脚本
https://blog.csdn.net/u010228798/article/details/78207375
- Hibernate_day02--课程安排_主键生成策略_对实体类crud操作_实体类对象状态
Hibernate_day02 上节内容 今天内容 实体类编写规则 Hibernate主键生成策略 实体类操作 对实体类crud操作 添加操作 根据id查询 修改操作 删除操作 实体类对象状态(概念) ...
- 使用js里面的迭代器filter实现数组去重
实现数组去重的方法很多,最原始的方法是一个值一个值的去遍历,写到空数组里面: let r=[],arr = ['a', 'b', 'c', 'a']; for(var i=0,len=arr.leng ...
- 如何在Myeclipse中启动多个Tomcat
比如:有两个版本的tomcat,一个5.*,一个6.*,此时由于两个工程分别部署在两个版本的tomcat下,需要同时启动两个tomcat,以下是方法: 1.特别要注意: 不要设置CATALINA_HO ...
- Ubuntu16.04安装QQ(图文说明)
导读 最近,因为工作需要,我安装了Ubuntu16.04,然而有好多不便,工作上的事情大多需要QQ联系,然而在Ubuntu上的WebQQ很是不好用,于是在网上搜索了好多个linux版本的QQ,然而不是 ...
- 【BZOJ2095】[Poi2010]Bridges 动态加边网络流
[BZOJ2095][Poi2010]Bridges Description YYD为了减肥,他来到了瘦海,这是一个巨大的海,海中有n个小岛,小岛之间有m座桥连接,两个小岛之间不会有两座桥,并且从一个 ...
- 05.Curator分布式锁
锁:分布式的锁全局同步,这意味着任何一个时间点不会有两个客户端都拥有相同的锁. 1.可重入锁Shared Reentrant Lock 首先我们先看一个全局可重入的锁(可以多次获取,不 ...
- 初级Java面试题 - JavaSE篇
p{font-size:18px;} li{font-size:18px;} 加入我的QQ群(701974765) 获取更多好用又好玩的软件,还有不定期发放的福利呦(- ̄▽ ̄)- Java基本数据类型 ...
- CSS cursor 属性
cursor 1.定义和用法 cursor 属性规定要显示的光标的类型(形状). 该属性定义了鼠标指针放在一个元素边界范围内时所用的光标形状(不过 CSS2.1 没有定义由哪个边界确定这个范围). 2 ...
- Bone Collector II---hdu2639(01背包求第k优解)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=2639求01背包的第k大解.合并两个有序序列 选取物品i,或不选.最终的结果,是我们能在O(1)的时间内 ...