一次ceph recovery经历 背景 这是一个測试环境. 该环境中是cephfs 一共12个节点, 2个client.2个mds.8个osd mds: 2颗CPU,每一个4核.一共是8核. 128G内存, 单独的两个节点,仅仅作为mds cpu型号: Intel(R) Xeon(R) CPU E5-1620 v3 @ 3.50GHz osd节点, 每一个24核, 8 × 4T SATA盘, 1 SSD:INTEL SSD SC2BB48 (480G) 64G内存 cpu型号: Intel(R…

一.经历概要 程序里有个跑数据的job,这个job的主要功能是往数据库写假数据. 既需要跑历史数据(传给job的日期是过去的时间),也需要能够上线后,实时跑(十秒钟触发一次,传入触发时的当前时间). 其中一个job比较奇葩点,要写入的数据比较难以随机生成,是产品的同事从互联网上找的数据,比如当前网络上的热门话题,然后导入到数据库中.所以, 我这边随机的时候,不能乱造.因此我的策略是,从数据库将已经存在的那几条真实数据查询出来,然后job中根据随机数,选择其中一条来仿造一条新的, 随机生成新记录的…

提出问题 在运行项目的服务器的git是1.8.3.1版本的时候,pm2 deploy 项目,服务器fetch不到最新的一次commit. 对于这个问题,在pm2的github也有issues讨论.然后开issues的人表示 pm2-deploy is garbage  并且觉得  I find it funny that it is easier for the authors to blame the problem on git or anything else rather than ch…

目录 问题描述 查看core文件 使用gdb查看core文件 总结 问题描述 今天在写代码时,运行时奔溃了.segment fault,而且是在程序退出main()函数后,才报的. 唯一的信息是:Segmentation fault (core dumped) 简直是一头雾水. 查看core文件 系统默认是不会生成core文件的,ulimit -c unlimited把core文件设为无限大. 使用gdb查看core文件 gdb ./example/sudoku_batch_test core…

我是用了netty搭建了一个UDP接收日志,堆启动配置 Xmx256  Xms256 ,项目刚启动的时候,系统进程占用内存很正常,在250M左右. 长时间运行之后发现,进程占用内存不断增长,远远超过了我设置的堆内存大小,查看幸存者,伊甸园,老年代,gc都很正常,堆使用数据一切正常,甚至我怀疑元空间占用内存大,查询之后发现,元空间也只用很小,而且自从程序启动开始,浮动很小.为此,我又把JVM相关知识点又拿出来翻了一遍 那么多出来的内存使用是从哪里来的? 后来通过查询相关资料才发现,Java进程内存…

https://cloud.tencent.com/developer/article/1173069 记录一下一些ceph优化的设置,部分内容来自网络,有些请根据自己需求相应修改 1.  Kernel pid max echo 4194303 > /proc/sys/kernel/pid_max 2.  设置MTU,交换机端需要支持该功能,系统网卡设置才有效果 配置文件追加MTU=9000 3.  read_ahead, 通过数据预读并且记载到随机访问内存方式提高磁盘读操作 echo “819…

一.概述 ceph recovery状态机的变化过程:…

一.数据归置概览 Ceph 通过 RADOS 集群动态地存储.复制和重新均衡数据对象.很多不同用户因不同目的把对象存储在不同的存储池里,而它们都坐落于无数的 OSD 之上,所以 Ceph 的运营需要些数据归置计划. Ceph 的数据归置计划概念主要有: 存储池( Pool ): Ceph 在存储池内存储数据,它是对象存储的逻辑组:存储池管理着归置组数量.副本数量.和存储池规则集. 要往存储池里存数据,用户必须通过认证.且权限合适,存储池可做快照.详情参见存储池. 归置组( Placement G…

  参考文档:CEPH官网集群操作文档   概述 Ceph存储集群是所有Ceph部署的基础. 基于RADOS,Ceph存储集群由两种类型的守护进程组成:Ceph OSD守护进程(OSD)将数据作为对象存储在存储节点上; Ceph Monitor(MON)维护集群映射的主副本. Ceph存储集群可能包含数千个存储节点. 最小系统将至少有一个Ceph Monitor和两个Ceph OSD守护进程用于数据复制.   Ceph文件系统,Ceph对象存储和Ceph块设备从Ceph存储集群读取数据并将数据写…

背景:在给某客户处理问题时,发现客户数据库的备份空间即将用尽,进一步查看发现是用户数据库的当前RMAN备份策略存在潜在问题,需要修改备份策略. 环境:SunOS 5.10 + Oracle 11.2.0.3 1.分析当前RMAN备份策略的问题 2.拟出解决方案供客户选择 3.根据实际情况决定删除无用历史备份 4.总结 1.分析当前RMAN备份策略的问题 1.1 查看系统任务调度 -bash-3.2$ crontab -l 0 0 * * 0 /oradata03/backup/rman/db_f…

前言 只有光头才能变强 这阵子跑去面试Java实习生啦~~~我来简单介绍一下背景吧. 广州三本大三在读,在广州找实习.大学开始接触编程,一个非常平庸的人. 在学习编程时,跟我类似的人应该会有一个疑问:究竟学到什么程度才能找到一份实习/工作呢? 针对的是中小公司.. 我是在6月1号开始投的简历找Java实习: 实习憎投了17份: 在前程无忧投了69份(没有算今天刚投的): 在boss直聘沟通51个,可以发送8份简历出去: 下面是我的简历(我不会写简历,需要修改的地方还请大家不吝在评论区留言) 可能…

为记录阿里的电面经历,特与大家分享,岗位是JAVA研发工程师. 一面主要问题如下: 1)首先自我介绍 2)数据结构算法的基本问题,如排序算法,二叉树遍历,后序遍历非递归,图的最短路径问题 3)对一个数组进行绝对值排序的算法 4)java中hashmap的底层实现 5)java中垃圾回收机制GC原理等 6)介绍自己的项目,数据库中用到的数据结构数据模型,死锁的概念(问的应该是数据库的死锁),如何避免死锁? 7)乐观锁和悲观锁? 8)一致性hash算法 9)项目中业务对象的关联关系/关联方式,谈谈左…

Codeforces Round #600 (Div. 2) ---- 比赛传送门 昨晚成绩还好,AC A,B题,还能上分(到底有多菜) 补了C.D题,因为昨晚对C.D题已经有想法了,所以补起题来也快.(C题TLE了,D题想用并查集没好) A // http://codeforces.com/contest/1253/problem/A /* 如果YES,则b[i] - a[i] 在一个区间里的差肯定是相同的且不小于0 */ #include<iostream> #include<cst…

所有 Ceph 部署都始于 Ceph 存储集群.基于 RADOS 的 Ceph 对象存储集群包括两类守护进程: 1.对象存储守护进程( OSD )把存储节点上的数据存储为对象: 2.Ceph 监视器( MON )维护集群运行图的主拷贝.一个 Ceph 集群可以包含数千个存储节点,最简系统至少需要一个监视器和两个 OSD 才能做到数据复制. Ceph 文件系统. Ceph 对象存储.和 Ceph 块设备从 Ceph 存储集群读出和写入数据 一.配置 Ceph 作为集群时可以包含数千个对象存储设备(…

Ceph 仍在积极开发中,所以你可能碰到一些问题,需要评估 Ceph 配置文件.并修改日志和调试选项来纠正它. 一.日志记录和调试 般来说,你应该在运行时增加调试选项来调试问题:也可以把调试选项添加到 Ceph 配置文件里来调试启动问题,然后查看 /var/log/ceph (默认位置)下的日志文件. 注意:调试输出会拖慢系统,这种延时有可能掩盖竞争条件 日志记录是资源密集任务.如果你碰到的问题在集群的某个特定区域,只启用那个区域对应的日志功能即可.例如,你的 OSD 运行良好.元数据服务器却不…

做了几个基于Flash平台的3D的项目,一路走来收获颇多.Away3D作为一个开源的Flash3D引擎,在3D页游领域,无疑是当前OGRE在国内的地位. 翻译出了多年前做Away3D中国社区的时候翻译的一篇文章,以此记录这段难忘的经历! 什么是Away3D?(What is Away3D?) Away3D是一个开源的,基于Flash平台的实时3D引擎.这个项目最初是由Alexander Zadorozhny和 Rob Bateman 在2007年开始的.没想到这一发就不可收拾.下面是一些Away…

转载自:http://www.wowotech.net/kernel_synchronization/linux2-6-11-RCU.html 一.前言 无论你愿意或者不愿意,linux kernel的版本总是不断的向前推进,做为一个热衷于专研内核的工程师,最大的痛苦莫过于此:当你熟悉了一个版本的内核之后,内核已经推进到一个新的版本,你曾经熟悉的内容可能会变得陌生(这里主要说的是该模块的内部实现,实际上,内核中的每一个子系统都是会尽量保持接口API的不变).怎么应对这种变化呢?一方面,具体的实现…

近来项目中遇到一个问题,情况是这样的,我们使用ELK中的LOGSTASH来监控LINUX的系统日志文件:/var/log/messages文件,但这个文件默认的权限是600,这样很为难, 我们使用特定的日志收集用户启动LOGSTASH进程,这样对于没有权限的文件就无法监控了. 以下记录我寻找答案的经历. 我不熟LINUX文件权限管理,知其一二,主要是不懂UMASK,直接的想法是chmod o+r /var/log/message不就行了. 但是这个文件是会滚动的,滚动后生成的日志权限又变成600…

这是我第一次写博客,主要是记录自己前端学习的经历.这次写一下GitHubpage 的简单使用.我用这里并没有想挂博客,主要是挂自己的一些小作品应用到简历中. 第一步: 首先先注册Github账号,创建自己的一个仓库 第二步:进入Settings 看到Lauch automatic page generator没有,点击这个 然后你会看见,点击Continue to layouts 选择一个主题就可以啦 点击Publish page 到这一步,我们已经完成了github pages的部署,但是在这…

昨天学习Android XML解析的时候,想在自己的电脑上搭建一个最简单的Web服务器来存放一段XML文本,然后在Android程序中解析,查找了一些资料后,看到Apache服务器比较容易上手,使用范围也比较广泛,于是就决定使用它了. 1.下载Apache服务器安装包,地址:http://httpd.apache.org/download.cgi 我选择了2.4.12这个版本,在Apache官网找了半天以为会有.msi的安装包,但是却一直没找到,好吧没有就没有了(想偷懒却没有提供一键安装包,唉)…

之前总是在查阅别人的文档,看着其他人的博客,自己心里总有一份冲动,想记录一下自己学习的经历.学习算法有一段时间了,于是想从算法开始自己的博客生涯O(∩_∩)O~~ 今天在网上看了一道大数相加(高精度)的题目,题目很简单,但是体现了算法编程的细心之处. 题目:A + B Problem II Description: I have a very simple problem for you. Given two integers A and B, your job is to calculate…

刚刚看的博文:http://blog.csdn.net/ns_code/article/details/40408397 里面有些资料值得学习! 写在前面 结束了在百度的实习,是时候写下校招的总结了,再不写估计很多东西都忘了.在开源社区混迹久了,从别人的学习.求职.工作经历中越发感受到很多的正能量,也本着攒RP的原则,向学弟学妹们,尤其非名校的学弟学妹们传递点正能量,因为博主也是非名校出身,而且在整个求职的过程中能够很明显地感受到名校学生那种得天独厚的优势,同样的实力,名校学生进入BAT等一线互…

第1章 OWI介绍记录和观察进程所经历的等待现象的功能和界面以及方法论,统称为OWI,也就是Oracle Wait Interface.等待事件的P1.P2.P3值可以通过v$session_wait.v$session视图等动态视图 或者sql trace文件观察.各事件的P1.P2.P3的意义都不尽相同,可通过v$event_name视图进一步确认.Oracle世界里非常广泛地使用"资源"这个词,与我们一般理解的"资源"不同.OWI观点上的"资源&qu…

加入博客园也5年多了.平时博客也写的少,但是每天都会上来“偷窥”,你们的一举一动我都知道.呵呵~ 最近看了些小伙伴们写的一些文章自己也难免有些感触.最近也精神有些萎靡,也想写点什么记录下个人的成长经历,希望能与大家一起共勉.这几天因为咽炎犯了,烟也不能抽,实在是无趣.给自己煮了杯咖啡,让这杯咖啡伴随我写完这篇逗比的自述吧,囧. 本人男,汉族,87年出生,文化程度中专,主职6y+前端js开发,业余6y+ dotnet开发. 初中 那年我初二.应该很多同学都是因为盛大传奇而接触计算机吧.接触后没过多…

Keep是一款具有社交属性的健身工具类产品.用户可利用碎片化的时间,随时随地选择适合自己的视频健身课程,进行真人同步训练.完成后还可以"打卡"晒成就.   你可根据器械.部位.难度筛选适合自己的课程,一些难度较大的动作,你还可以单独观看视频和文字解析.   结束训练后,你可以"打卡"表示一天课程的完成,并评价自己的本次训练.根据这些行为数据,Keep会分析你的健身习惯,不断精确算法,把最适合你的健身计划推送给你. 一.训练计划与课程视频分为男女两个版本,可随意切换教…

行列转换对于工作还是学习中总是不可避免的会遇到(虽然本人还尚未工作,萌萌哒的学生一枚),解决的方法也有很多,我这里就总结一下我所想解决的问题以及怎么去解决的方法, 可能网上已经有很多类似的方法了,有的比我的可能会更好,就当我记录一下自己的学习经历吧.这里我们列举一个关于股票的每日入账出账做一个统计然后整理数据,虽然例子可能不太合理, 但是不要太执着于这些细节,能说明问题就好,傻笑ing..... 1 列转行:按照某一列分组,将另一列作为行时列名可数,不变. 什么意思呢?话说多了反而不懂,放两张图…

本文衔接上文"记录一次无聊的(经历了Nodejs -> Shell -> C)的探索问题过程",服务器上git版本是1.8.3.1,使用的pm2来管理nodejs进程,并且配置了一键deploy项目.在deploy执行过程中,新版本的pm2 => pm2-deploy的shell中没对git老版本做兼容,上文提到解决方案: 1. pm2-deploy做兼容,相关shell例子也已给出 2. 升级服务器git版本 本文围绕一次 git 升级操作展开,并且分享此次过程的操…

该博文只记录笔者的蛇皮使用经历,纯新手= =,可能借鉴意义也可能没有(T _ T),侵删. 目录 kali linux 在个人计算机和在VirtualBox下的安装 kali linux 使用前准备工作 Kali linux 在个人计算机和在VirtualBox下的安装 个人计算机下的安装和VirtualBox下的安装唯一的区别就是前者需要制作U盘启动盘,而后者需要对VirtualBox进行必要的设置. 首先从Kali linux官网下载镜像:https://www.kali.org/downl…

写这篇总结,主要是记录下自己的学习经历,算是自己对知识的一个回顾.也给想要学习 Java 的提供一些参考,对于一些想要学习Java,又不知道从哪里下手,以及现在有哪些主流的 Java 技术.想必大家学习一门技术,前期都很想看到一些结果或成就,这样就比较容易激励自己学习下去,最好的办法就是实践,实践,实践!先说明一下我的情况,我是从大二才开始接触 Java,然后自己摸索,期间真是摸打滚爬过来的.选的是计算机专业,大一的时候还没有自己的笔记本,所以都是听课过来的,了解了一些概念性的东西,课上老师也有…

在2018年10月初,公司倒闭,无奈走上找工作的道路,不想自己平时图安逸,不思进取,再次找工作才发现,android行业也不是站在风口上,猪也能吹上天的世道了.作为技术小菜的我,再找工作那几个月真是战战兢兢,被打击得信心全无.记录下我的面试经历,分享给需要的人.勉励自己要时时进步,才不会被淘汰. 声明:作者:璇_c2be链接:https://www.jianshu.com/p/089861329c1a 猎豹移动:(有笔试) atomicinteger内存模型 static编译时有啥不同,stat…