presto 0.166安装部署
系统:linux
java:jdk 8,64-bit
Connector:hive
分布式,node1-3
node1:Coordinator 、 Discovery service
node2-3:Worker
开始安装部署
除了标红的需要在node2-3上特殊处理,其他设置和node1一样,下面以node1为例
Presto Server配置
解压缩presto-server-0.166.tar.gz
tar zxvf presto-server-0.166.tar.gz 在presto-server-0.166目录下创建etc目录
cd presto-server-0.166
mkdir etc 在etc目录下创建catalog目录
cd etc
mkdir catalog 在catalog目录下创建文件hive.properties,文件内容如下:
connector.name=hive-hadoop2
hive.metastore.uri=thrift://node1:9083
hive.config.resources=/home/orco/resources/hadoop-2.7.3/etc/hadoop/core-site.xml, /home/orco/resources/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 在etc目录下创建config.properties文件,文件内容如下:
# 在非node1上设置为false
coordinator=true
# 实验环境下一般是true,生产环境还是让coordinator那个节点别干worker的事情吧,设置成false
node-scheduler.include-coordinator=false
# zeeplin是8080
http-server.http.port=8081
query.max-memory=512MB
query.max-memory-per-node=512MB
discovery-server.enabled=true
discovery.uri=http://node1:8081 在etc目录下创建jvm.config文件,文件内容如下:
-server
-Xmx1G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p 在etc目录下创建node.properties文件,文件内容如下:
node.environment=production
# id要唯一,node2的id是node2等
node.id=node1
node.data-dir=/home/orco/resources/presto-server-0.166/presto_data
Presto Client配置
把客户端jar包放置在presto-server-0.166/bin目录下
mv presto-cli-0.166-executable.jar presto-server-0.166/bin/ 修改客户端jar包名为presto
mv presto-cli-0.166-executable.jar presto 修改presto客户端jar包权限
chmod +x presto 把presto添加到环境变量中(~/.bash_profile)
export PRESTO_HOME=/home/orco/resources/presto-server-0.166
export PATH=$PRESTO_HOME/bin:$PATH 使得环境变量立即生效
source ~/.bash_profile
启动Presto
Presto依赖HDFS和Hive metastore 启动HDFS
/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh 启动Hive metastore
sudo service mysqld start
nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 & 启动Presto,三台都各自启动
/home/orco/resources/presto-server-0.166/bin/launcher start 查看Presto Web UI
http://node1:8081 启动Presto客户端
presto --server node1:8081 --catalog hive --schema default server:指的是Coordinator的地址,配置在config.properties 中 hive:用的是hive的connector default:用的是hive的default数据库
presto 0.166安装部署的更多相关文章
- Storm-0.9.0.1安装部署 指导
可以带着下面问题来阅读本文章: 1.Storm只支持什么传输 2.通过什么配置,可以更改Zookeeper默认端口 3.Storm UI必须和Storm Nimbus部署在同一台机器上,UI无法正常工 ...
- kafka_2.11-2.0.0_安装部署
参考博文:kafka 配置文件参数详解 参考博文:Kafka[第一篇]Kafka集群搭建 参考博文:如何为Kafka集群选择合适的Partitions数量 参考博文:Kafka Server.prop ...
- 大数据篇:DolphinScheduler-1.2.0.release安装部署
大数据篇:DolphinScheduler-1.2.0.release安装部署 1 配置jdk #查看命令 rpm -qa | grep java #删除命令 rpm -e --nodeps xxx ...
- [DPI][suricata] suricata-4.0.3 安装部署
suricata 很值得借鉴.但是首先还是要安装使用,作为第一步的熟悉. 安装文档:https://redmine.openinfosecfoundation.org/projects/suricat ...
- zabbix4.0.1 安装部署
zabbix安装部署 目录 一.环境准备... 3 1.1.版本:... 3 1.2.部署环境... 3 二.安装部署... 3 2.1.zabbix安装... 3 2.1.1.下载zabbix的rp ...
- Hbase-2.0.0_01_安装部署
该文章是基于 Hadoop2.7.6_01_部署 进行的 1. 主机规划 主机名称 IP信息 内网IP 操作系统 安装软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 C ...
- Hadoop1.0.3安装部署
0x00 大数据平台相关链接 官网:http://hadoop.apache.org/ 主要参考教程:http://www.cnblogs.com/xia520pi/archive/2012/05/1 ...
- jumperserver3.0的安装部署
适用于jumperserver版本:v0.3.1-2 官网:http://www.jumpserver.org/ 系统:centos7.2 基本安装 备注:如果是centos系统最好使用基本安装,否 ...
- zabbix3.0.4安装部署与SendEmail报警配置
MySQL:5.6.21 nginx:1.62 PHP:5.7 pcre:8.32 zabbix:3.0.4 LNMP安装步骤略过 # tar xvf zabbix-3.0.4.tar.gz # cd ...
随机推荐
- JAVA增删改查XML文件
最近总是需要进行xml的相关操作. 不免的要进行xml的读取修改等,于是上网搜索,加上自己的小改动,整合了下xml的常用操作. 读取XML配置文件 首先我们需要通过DocumentBuilderFac ...
- js修改剪切板内容的方法
代码如下: //绑定在了body上,也可以绑定在其他可用元素行,但是不是所有元素都支持copy事件. $(document.body).bind({ copy: function(e) {//copy ...
- 缺陷管理工具JIRA破解版及其安装方法
JIRA是一个优秀的问题(or bugs,task,improvement,new feature )跟踪及管理软件. 它由Atlassian开发,采用J2EE技术.它正被广泛的开源软件组织,以 ...
- 第九讲 C#练习题
1.接收一个整数N 如果N是正数就输出1·N 如果是负数就提示出错输出 由丰老师提供 -_-~ 2.编一个程序,从三个红球,五个白球,六个黑球中任意取出八个球,且其中必须有白球,输出所有可能的方案. ...
- LeetCode 笔记系列 18 Maximal Rectangle [学以致用]
题目: Given a 2D binary matrix filled with 0's and 1's, find the largest rectangle containing all ones ...
- js功能实现的特效--距离新年还有多少天
代码: <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> & ...
- js访问CSS最终计算样式
所谓计算样式,就是嵌入式样式.外部样式表.内联样式综合的样式表现,那么如何来获取呢? "DOM2 级样式"增强了document.defaultView,提供了getCompute ...
- quartz 调度启动失败,with (updlock,rowlock)
原因是driverDelegateClass配置错误. org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTXorg.q ...
- 160311、mybatis sql语句中转义字符
问题: 在mapper ***.xml中的sql语句中,不能直接用大于号.小于号要用转义字符 解决方法: 1.转义字符串 小于号 < < 大于号 > & ...
- http协议----->http请求方式,post,get
4.http请求方式有七种(http请求是想web资源请求数据) Post get head options delete trace put 常用:GET POST POST例如form表单提交,G ...