tachyon 配置项
Tachyon 配置参数分为4类:Master,Worker, Common (Master and Worker), and User configurations。
环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh,这些变量将会被TACHYON_JAVA_OPTS调用,这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template
额外的Java VM选项可以添加到TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS配置中。在模板文件,TACHYON_JAVA_OPTS将会被TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS调用
二、Tachyon常用配置
| 属性名 | 默认值 | 含义 |
| tachyon.home | "/mnt/tachyon_default_home" | Tachyon的安装目录 |
| tachyon.underfs.address | $tachyon.home + "/underfs" | Tachyon底层文件系统目录 |
| tachyon.data.folder | $tachyon.underfs.address + "/tachyon/data" | Tachyon底层文件系统数据目录 |
| tachyon.workers.folder | $tachyon.underfs.address + "/tachyon/workers" | Tachyon worke目录 |
| tachyon.usezookeeper | false | 是否使用zookeeper来进行master容错 |
| tachyon.zookeeper.address | null | Zookeeper地址 |
| tachyon.zookeeper.election.path | "/election" | Zookeeper选举文件夹 |
| tachyon.zookeeper.leader.path | "/leader" | Zookeeperleader文件夹 |
| tachyon.underfs.hdfs.impl | "org.apache.hadoop.hdfs.DistributedFileSystem" | HDFS底层文件系统实现类 |
| tachyon.max.columns | 1000 | RawTable允许的最大列数,必须在客户端和服务器端设置 |
| tachyon.table.metadata.byte | 5242880 | 在RawTable的元数据中最大允许多少字节 |
| fs.s3n.awsAccessKeyId | null | S3 AWS访问密钥ID |
| fs.s3n.awsSecretAccessKey | null | S3 aws 加密访问Key ID |
| tachyon.underfs.glusterfs.mounts | null | Glusterfs卷装入点,如/卷 |
| tachyon.underfs.glusterfs.volumes | null | Glusterfs卷名,如tachyon_vol |
| tachyon.underfs.glusterfs.mapred.system.dir | glusterfs:///mapred/system | 根据需要指定GLusterfs中MapReduce的数据子目录 |
三、Master配置
| tachyon.master.journal.folder | $tachyon.home +"/journal/" | master journal log 存储目录 |
| tachyon.master.hostname | localhost | Master主机名 |
| tachyon.master.port | 19998 | Master节点运行端口 |
| tachyon.master.web.port | 19999 | WEB接口运行端口 |
| tachyon.master.whitelist | / | 缓存路径 |
四、Wroker配置
| tachyon.worker.port | 29998 | Worker节点运行端口 |
| tachyon.worker.data.port | 29999 | Worker数据服务运行端口 |
| tachyon.worker.data.folder | /mnt/ramdisk | Worker节点数据目录 |
| tachyon.worker.memory.size | 128 MB | Worker几点内存容量 |
五、用户配置
| tachyon.user.failed.space.request.limits | 3 | 文件系统终止之前的时间 |
| tachyon.user.quota.unit.bytes | 8 MB | 客户端请求Worker几点的最小大小 |
| tachyon.user.file.buffer.bytes | 1 MB | 文件缓冲区大小 |
| tachyon.user.default.block.size.byte | 1 GB | Tachyon文件默认的block size |
| tachyon.user.remote.read.buffer.size.byte | 1 MB | 从远程worker读取数据的缓冲区大小 |
tachyon 配置项的更多相关文章
- Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署
[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .Tachyon介绍 1.1 Tachyon简介 随着实时计算的需求日益增多,分布式内存计算 ...
- Spark Tachyon实战应用(配置启动环境、运行spark和运行mapreduce)
Tachyon实战应用 配置及启动环境 修改spark-env.sh 启动HDFS 启动Tachyon Tachyon上运行Spark 添加core-site.xml 启动Spark集群 读取文件并保 ...
- Tachyon的配置详解
Tachyon的配置 Tachyon环境变量 Tachyon通用配置 TachyonMaster配置 TachyonWorker配置 用户配置 1 Tachyon的配置 这里以0.5.0版本为例,介绍 ...
- Spark Tachyon编译部署(含单机和集群模式安装)
Tachyon编译部署 编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 1.Tachyon编译部署 Tachyon目前的最新发布版为0.7.1,其官方网址为http://tac ...
- spark中使用的内存文件系统-Tachyon FS 简介
转自:http://blog.csdn.net/u014252240/article/details/41810849 发布人:南京大学PASA大数据实验室顾荣 1. Tachyon是什么 Tach ...
- hadoop+tachyon+spark的zybo cluster集群综合配置
1.zybo cluster 架构简述: 1.1 zybo cluster 包含5块zybo 开发板组成一个集群,zybo的boot文件为digilent zybo reference design提 ...
- SpringMVC配置项学习笔记
1. <mvc:annotation-driven /> <mvc:annotation-driven />是一种简写形式,默认会注册DefaultAnnotationHand ...
- JSHint配置项说明
转自:http://www.jianshu.com/p/4cb23f9e19d3 什么是JSHint? 官方网站这样介绍: JSHint, A Static Code Analysis Tool fo ...
- tachyon of zybo cluster
把Tachyon层加入spark和hadoop之间,以加速集群 官网:http://tachyon-project.org/ github:https://github.com/amplab/tach ...
随机推荐
- cocos2d-html5在cocos2d-x里面打包编译
main.cpp打开USE_WIN32_CONSOLE输出 #include "main.h" #include "AppDelegate.h" #includ ...
- 前端复习-02-ajax原生以及jq和跨域方面的应用。
ajax这块我以前一直都是用现成的jq封装好的东西,而且并没有深入浅出的研究过,也没有使用过原生形式的实现.包括了解jsonp和跨域的相关概念但是依然没有实现过,其中有一个重要的原因我认为是我当时并不 ...
- UVALive 3956 Key Task (bfs+状态压缩)
Key Task 题目链接: http://acm.hust.edu.cn/vjudge/contest/129733#problem/D Description The Czech Technica ...
- hdu 5475 An easy problem(暴力 || 线段树区间单点更新)
http://acm.hdu.edu.cn/showproblem.php?pid=5475 An easy problem Time Limit: 8000/5000 MS (Java/Others ...
- android 自定义用相机拍照后的照片存储位置
1.imageUri = Uri.fromFile(new File(Environment .getExternalStorageDirectory()+ File.separator + getP ...
- POJ 3169 Layout (差分约束)
题意:给定一些母牛,要求一个排列,有的母牛距离不能超过w,有的距离不能小于w,问你第一个和第n个最远距离是多少. 析:以前只是听说过个算法,从来没用过,差分约束. 对于第 i 个母牛和第 i+1 个, ...
- 使用JAVA对字符串进行DES加密解密(修正问题)
http://blog.csdn.net/seraphwh/article/details/6801123
- Unity3d:The requested item has been unloaded
问题描述:System.Xml类库下实例化的对象所有枚举类的值都显示如标题错误解决方案1:查看所在类是否:MonoBehaviour,如果没继承,添加即可.<ignore_js_op>
- [Microsoft][ODBC SQL Server Driver][DBNETLIB]SQL Server 不存在或访问被拒绝
一般连接sql数据库,IP_connstr="driver={SQL Server}; server=127.0.0.1;database=数据库名字;uid=sa;pwd=密码" ...
- android Notification和NotificationManager的使用
Notification和NotificationManager 1.Broadcast Receiver组件没有提供可视化的界面来显示广播信息.这里我们可以使用Notification和Notifi ...