Tachyon 配置参数分为4类:Master,Worker, Common (Master and Worker), and User configurations。

环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh,这些变量将会被TACHYON_JAVA_OPTS调用,这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template

额外的Java VM选项可以添加到TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS配置中。在模板文件,TACHYON_JAVA_OPTS将会被TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS调用


二、Tachyon常用配置

属性名 默认值 含义
tachyon.home "/mnt/tachyon_default_home" Tachyon的安装目录
tachyon.underfs.address $tachyon.home + "/underfs" Tachyon底层文件系统目录
tachyon.data.folder $tachyon.underfs.address + "/tachyon/data" Tachyon底层文件系统数据目录
tachyon.workers.folder $tachyon.underfs.address + "/tachyon/workers" Tachyon worke目录
tachyon.usezookeeper false 是否使用zookeeper来进行master容错
tachyon.zookeeper.address null Zookeeper地址
tachyon.zookeeper.election.path "/election" Zookeeper选举文件夹
tachyon.zookeeper.leader.path "/leader" Zookeeperleader文件夹
tachyon.underfs.hdfs.impl "org.apache.hadoop.hdfs.DistributedFileSystem" HDFS底层文件系统实现类
tachyon.max.columns 1000 RawTable允许的最大列数,必须在客户端和服务器端设置
tachyon.table.metadata.byte 5242880 在RawTable的元数据中最大允许多少字节
fs.s3n.awsAccessKeyId null S3 AWS访问密钥ID
fs.s3n.awsSecretAccessKey null S3 aws 加密访问Key ID
tachyon.underfs.glusterfs.mounts null Glusterfs卷装入点,如/卷
tachyon.underfs.glusterfs.volumes null Glusterfs卷名,如tachyon_vol
tachyon.underfs.glusterfs.mapred.system.dir glusterfs:///mapred/system 根据需要指定GLusterfs中MapReduce的数据子目录

三、Master配置

tachyon.master.journal.folder $tachyon.home +"/journal/" master journal log 存储目录
tachyon.master.hostname localhost Master主机名
tachyon.master.port 19998 Master节点运行端口
tachyon.master.web.port 19999 WEB接口运行端口
tachyon.master.whitelist / 缓存路径

四、Wroker配置

tachyon.worker.port 29998 Worker节点运行端口
tachyon.worker.data.port 29999 Worker数据服务运行端口
tachyon.worker.data.folder /mnt/ramdisk Worker节点数据目录
tachyon.worker.memory.size 128 MB Worker几点内存容量

五、用户配置

tachyon.user.failed.space.request.limits 3 文件系统终止之前的时间
tachyon.user.quota.unit.bytes 8 MB 客户端请求Worker几点的最小大小
tachyon.user.file.buffer.bytes 1 MB 文件缓冲区大小
tachyon.user.default.block.size.byte 1 GB Tachyon文件默认的block size
tachyon.user.remote.read.buffer.size.byte 1 MB 从远程worker读取数据的缓冲区大小

tachyon 配置项的更多相关文章

  1. Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .Tachyon介绍 1.1 Tachyon简介 随着实时计算的需求日益增多,分布式内存计算 ...

  2. Spark Tachyon实战应用(配置启动环境、运行spark和运行mapreduce)

    Tachyon实战应用 配置及启动环境 修改spark-env.sh 启动HDFS 启动Tachyon Tachyon上运行Spark 添加core-site.xml 启动Spark集群 读取文件并保 ...

  3. Tachyon的配置详解

    Tachyon的配置 Tachyon环境变量 Tachyon通用配置 TachyonMaster配置 TachyonWorker配置 用户配置 1 Tachyon的配置 这里以0.5.0版本为例,介绍 ...

  4. Spark Tachyon编译部署(含单机和集群模式安装)

    Tachyon编译部署 编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 1.Tachyon编译部署 Tachyon目前的最新发布版为0.7.1,其官方网址为http://tac ...

  5. spark中使用的内存文件系统-Tachyon FS 简介

    转自:http://blog.csdn.net/u014252240/article/details/41810849  发布人:南京大学PASA大数据实验室顾荣 1. Tachyon是什么 Tach ...

  6. hadoop+tachyon+spark的zybo cluster集群综合配置

    1.zybo cluster 架构简述: 1.1 zybo cluster 包含5块zybo 开发板组成一个集群,zybo的boot文件为digilent zybo reference design提 ...

  7. SpringMVC配置项学习笔记

    1. <mvc:annotation-driven /> <mvc:annotation-driven />是一种简写形式,默认会注册DefaultAnnotationHand ...

  8. JSHint配置项说明

    转自:http://www.jianshu.com/p/4cb23f9e19d3 什么是JSHint? 官方网站这样介绍: JSHint, A Static Code Analysis Tool fo ...

  9. tachyon of zybo cluster

    把Tachyon层加入spark和hadoop之间,以加速集群 官网:http://tachyon-project.org/ github:https://github.com/amplab/tach ...

随机推荐

  1. Java ClassLoader 原理详细分析

    一.什么是ClassLoader? 大家都知道,当我们写好一个Java程序之后,不是管是CS还是BS应用,都是由若干个.class文件组织而成的一个完整的Java应用程序,当程序在运行时,即会调用该程 ...

  2. Shell 脚本基本操作练习

    这里主要是熟悉了shell的基本操作,包括变量赋值引用修改.函数的使用.信号的获取及一些判断方法等,具体详见代码: #!/bin/sh str="Hello World !" ec ...

  3. TdxAlertWindowManager右下角HINT显示控件

    带爱像的右下角HINT显示,自动隐藏 function alterInfo: TdxAlertWindowManager;begin  if not Assigned(Falter) then  be ...

  4. POJ2947Widget Factory(高斯消元解同模方程)

    http://poj.org/problem?id=2947 题目大意:有n 种装饰物,m 个已知条件,每个已知条件的描述如下:p start enda1,a2......ap (1<=ai&l ...

  5. HDU 2196Computer(树形DP)

    给你一颗边带权值的树,求树上的每一点距离其最远的一个点的距离 比较典型的题了,主要方法是进行两次DFS,第一次DFS求出每一个点距离它的子树的最远距离和次远距离,然后第二次DFS从父节点传过来另一侧的 ...

  6. How Tomcat Works(十五)

    本文接下来分析Context容器,Context容器实例表示一个具体的Web应用程序,其中包括一个或多个Wrapper实例:不过Context容器还需要其他的组件支持,典型的如载入器和Session管 ...

  7. Ubuntu 搭建PHP开发环境

    Ubuntu确实很好玩.有喜欢的命令行,简洁的界面,不同于Window要的感觉.偶尔换换环境工作,学习Linux的思维方式,是一种不错的做 法.之前也折腾过Ubuntu,不过,因为网络的问题,一直没有 ...

  8. UI:字典的两种取值的区别

    字典的两种取值的区别 (objectForKey: 和 valueForKey )参考 一般来说 key 可以是任意字符串组合,如果 key 不是以 @ 符号开头,这时候 valueForKey: 等 ...

  9. PL/pgSQL学习笔记之十一

    http://www.postgresql.org/docs/9.1/static/plpgsql-declarations.html 39.3.4. Row 类型 name table_name%R ...

  10. Java常见排序算法之直接选择排序

    在学习算法的过程中,我们难免会接触很多和排序相关的算法.总而言之,对于任何编程人员来说,基本的排序算法是必须要掌握的. 从今天开始,我们将要进行基本的排序算法的讲解.Are you ready?Let ...