#查看主从
mogadm settings list

#一点点调试
mogadm settings list
mogadm settings set internal_queue_limit 500
mogadm settings set queue_rate_for_fsck 100
mogadm settings set queue_size_for_fsck 20000

#
mogadm settings set internal_queue_limit 50000
mogadm settings set queue_rate_for_fsck 10000
mogadm settings set queue_size_for_fsck 5000000

#
mogadm settings set internal_queue_limit 100000
mogadm settings set queue_rate_for_fsck 20000
mogadm settings set queue_size_for_fsck 10000000

#查看速度
mogadm fsck status

#查看状态
telnet 127.0.0.1 7001
#fsck工作量
!stats
#fsck数量
!jobs
#查看信息
!watch
#设置工作数量
!want 1 fsck

internal_queue_limit 这个值是指 tracker 从数据库(fsck )队列中一次取出的 FID 的数量.如果你使用 '!stats' 的命令连接在 tracker 上查看看, 你会见到象 work_queue_for_fsck 0 之类的这样的各种变量.如果你运行了很多个用来做 fsck 的 worker , 但这个统计非常低或为 0, 需要增加 internal_queue_limit 将会让它执行更快. 但不要设置的过高..大约几千可能是个合适的值.我建议是设置 2000-7000 之间.目前我是设置 5000, 这是一个缓慢的内部设置的增加,所以要有耐心点调.您要调整这个值保持不断的提供给队列任务又不能太多.所以直到出现 work_queue_for_fsck 后面一直有数,但又不高为止.

queue_size_for_fsck 这是给在 tracker 数据库的队列中一次取多少 FID 发送给 worker .太高,这会浪费你更多的磁盘空间,但是,如果队列是时常为零, 增加二倍 or 三倍的值来帮助你从队列中提前取得需求的内容.

queue_rate_for_fsck 注入到循环的每一个队列中的 FID 的数量(every other second-ish),如果队列是在 limit 之下.设置过高的变量,可能会导致太多DB负载,但过低的trackers 不能从队列中提前获得. 可在一次队列可能完成的总的 FID 的数量高达 queue_size_for_fsck + queue_rate_for_fsck.

* FSCK code has new tunables to control how aggressive it runs:
          queue_size_for_fsck (how many fids to keep in file_to_queue table)
          queue_rate_for_fsck (how many fids to put into the table per second)
          the generic internal queue is now tunable:
          internal_queue_limit (how many fids to pull out of a queue table at
              once. old default was 500).
          All are tunable by 'mogadm settings set'
          (dormando)

mogilefsd同步速度调优的更多相关文章

  1. Kettle数据同步速度调优记录

    Msyql到Vertica 1.mysql中在openshop 数据库中选择其中一个300W左右数据的表 create table ip_records_tmp_01 AS SELECT * FROM ...

  2. 46张PPT讲述JVM体系结构、GC算法和调优

    本PPT从JVM体系结构概述.GC算法.Hotspot内存管理.Hotspot垃圾回收器.调优和监控工具六大方面进行讲述.(内嵌iframe,建议使用电脑浏览) 好东西当然要分享,PPT已上传可供下载 ...

  3. 《深入理解Java虚拟机》调优案例分析与实战

    上节学习回顾 在上一节当中,主要学习了Sun JDK的一些命令行和可视化性能监控工具的具体使用,但性能分析的重点还是在解决问题的思路上面,没有好的思路,再好的工具也无补于事. 本节学习重点 在书本上本 ...

  4. Spark Shuffle原理、Shuffle操作问题解决和参数调优

    摘要: 1 shuffle原理 1.1 mapreduce的shuffle原理 1.1.1 map task端操作 1.1.2 reduce task端操作 1.2 spark现在的SortShuff ...

  5. 搭建 windows(7)下Xgboost(0.4)环境 (python,java)以及使用介绍及参数调优

    摘要: 1.所需工具 2.详细过程 3.验证 4.使用指南 5.参数调优 内容: 1.所需工具 我用到了git(内含git bash),Visual Studio 2012(10及以上就可以),xgb ...

  6. jvm系列(四):jvm调优-命令大全(jps jstat jmap jhat jstack jinfo)

    文章同步发布于github博客地址,阅读效果更佳,欢迎品尝 运用jvm自带的命令可以方便的在生产监控和打印堆栈的日志信息帮忙我们来定位问题!虽然jvm调优成熟的工具已经有很多:jconsole.大名鼎 ...

  7. jvm系列(六):jvm调优-从eclipse开始

    jvm调优-从eclipse开始 概述 什么是jvm调优呢?jvm调优就是根据gc日志分析jvm内存分配.回收的情况来调整各区域内存比例或者gc回收的策略:更深一层就是根据dump出来的内存结构和线程 ...

  8. web前端性能调优

    最近2个月一直在做手机端和电视端开发,开发的过程遇到过各种坑.弄到快元旦了,终于把上线了.2个月干下来满满的的辛苦,没有那么忙了自己准备把前端的性能调优总结以下,以方便以后自己再次使用到的时候得于得心 ...

  9. JVM调优总结

    堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制:系统的可用虚拟内存限制:系统的可用物理内存限制.32位系统下,一般限制在1.5G~2G:64为操作 ...

随机推荐

  1. 【UE4】二十四、UE4内部版本引擎和官方版本引擎版本保持兼容的方法

    内部使用的引擎和官方正式发布的引擎版本号不一致,这种情况会导致一些插件由于版本不一致无法使用,有其是在没有插件源码的情况下.解决方法为 修改Engine\Source\Runtime\Launch\R ...

  2. spark发现新词

    package com.icklick.spark.wordSegment import org.apache.log4j.{ Level, Logger } import org.apache.sp ...

  3. 树莓派Raspberry Pi 3安装步骤

    一.需要的硬件 1.Raspberry Pi 3(Model B+)树莓派.购买>https://item.jd.com/29225467867.html 2.输出5V/2A的电源 3.SD卡( ...

  4. 《Cracking the Coding Interview》——第18章:难题——题目11

    2014-04-29 04:30 题目:给定一个由‘0’或者‘1’构成的二维数组,找出一个四条边全部由‘1’构成的正方形(矩形中间可以有‘0’),使得矩形面积最大. 解法:用动态规划思想,记录二维数组 ...

  5. 《Cracking the Coding Interview》——第14章:Java——题目3

    2014-04-26 18:59 题目:final.finally.finalize有什么区别? 解法:烂大街之java语法题.此题被多少公司考过我不知道,反正我确实遇见过一次了. 代码: // 14 ...

  6. Pascal ASCII和文本的转换

    用于帮助新手理解ASCII码和字符型与整型的一段小程序,转载请注明出处 例如:输入 I love you 打印 73 32 108 111 118 101 32 121 111 117 13 10 P ...

  7. Django笔记 —— 模板

    最近在学习Django,打算玩玩网页后台方面的东西,因为一直很好奇但却没怎么接触过.Django对我来说是一个全新的内容,思路想来也是全新的,或许并不能写得很明白,所以大家就凑合着看吧- 本篇笔记(其 ...

  8. 常用模块(datatime)

    import datetime,time# dt = datetime.datetime.now() # 获取当前时间的时间对象# dt = datetime.date.fromtimestamp(t ...

  9. shell之route命令相关

    使用下面的 route 命令可以查看 Linux 内核路由表. # route Destination Gateway Genmask Flags Metric Ref Use Iface 192.1 ...

  10. HDU 4760 Good Firewall ( Trie树 )

    一开始看的时候就想歪了,比赛的时候一直在YY线段树区间覆盖,然后纠结节点数太多开不下怎么办啊啊啊啊…… 然后昨天吃饭的时候也在纠结这到底是个啥题,后来发现公共前缀->前缀??!!!!->这 ...