一.Ceph简单介绍1)OSDs: Ceph的OSD守护进程(OSD)存储数据,处理数据复制,恢复,回填,重新调整,并通过检查其它Ceph OSD守护程序作为一个心跳 向Ceph的监视器报告一些检测信息.Ceph的存储集群需要至少2个OSD守护进程来保持一个 active + clean状态.(Ceph默认制作2个备份,但可以调整它) 2)Monitors:Ceph的监控保持集群状态映射,包括OSD(守护进程)映射,分组(PG)映射,和CRUSH映射. Ceph 保持一个在Ceph监视器, Ce…

运维开发笔记整理-Django模型语法 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.模型基本概念 1>.什么是模型 模型是你的数据唯一的,权威的信息源.它包含你所存储数据的必要字段和行为.每个模型对应数据库中唯一的一张表.它包含你所存储数据的必要字段和行为.每个模型对应数据库中唯一的一张表. 2>.如何编写模型 模型:每个模型都用一个类表示,该类继承自“django.db.models.Model”.每个模型有多个类的属性变量,而每一个类的属性变量又都代表类数据库表中…

运维开发笔记整理-基于类的视图(CBV) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.FBV与CBV 1>.什么是FBV FBC(function base views)就是在视图里使用函数处理请求.在之前django的学习中,我们一直使用的是这种方式,所以不在赘述. 2>.什么是CBV CBV(class base views)就是在视图里使用类处理请求. Python是一个面向对象的编程语言,如果只用函数来开发,有很多面向对象的有限就错失了(比如封装,继承和多态)…

最新经典linux运维兄弟连Linux运维学习笔记... --------------- 全程1.5倍播放.加油我一定可以学完Linux----------------------Unix与Linux的发展史开源软件简介Linux的应用领域Linux的学习方法-------------------Unix:发源于美国的贝尔实验室,肯-汤普森1971年丹尼斯-里奇 发明了C语言---------Linux系统诞生于1991年,由芬兰的李纳斯-Linus编写的Linux的小企鹅图标:企鹅来自于南极和…

运维开发笔记整理-django日志配置 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Django日志 Django使用python内建的logging模块打印日志,Python的logging配置由四个部分组成: 1>.记录器(Logger) 2>.处理程序(Handler) 3>.过滤器(Filter) 4>.格式化(Formatter) 更多关于logging模块的配置信息,详情请参考:https://yiyibooks.cn/xx/python_35…

运维开发笔记整理-URL配置 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.URL路由 对于高质量的Web应用来说,使用简洁,优雅的URL的路由是一个非常值得重视的细节.Django让你随心所欲的设计你的URL,不受框架约束. 为了给一个用用设计URL,你需要创建一个Python模块,通常称为URLconf(URL configuration).这个模块是纯粹的Python代码,包含URL模式(简单的正则表达式)到Python函数(你的视图)的简单映射. 二.Django…

运维开发笔记整理-创建django用户 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.创建普通用户 C:\Users\yinzhengjie\softwares\PycharmProject\DevOps>python manage.py shell Python 3.6.0 (v3.6.0:41df79263a11, Dec 23 2016, 08:06:12) [MSC v.1900 64 bit (AMD64)] on win32 Type "help&quo…

运维开发笔记整理-QueryDict对象 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 客户端发送数据请求有很多种,相信运维人员已经很清楚了,如果不太清楚的话可以参考我之前的学习笔记:http原理详解. 一.GET与POST请求 在HttpRequest 对象中,GET 和POST 属性是django.http.QueryDict 的实例,它是一个自定义的类似字典的类,用来处理同一个键带有多个值.我们可以编写代码,查看GET和POST返回的数据请求到底是什么,具体代码如下:…

运维开发笔记整理-Django的template的使用 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在上一篇博客中我们学习了HttpResponse 和JsonResponse方法.现在我们来说一下Django内置模板,我们可以把漂亮的网页返回给用户,当然,咱们是学习阶段,主要还是为了方便说名知识点为主,因此在我的html文件只是设计到变量的传递,并不设计css或者js等. 一.加载模板-从文件加载内容案例 1>.loader模块 django.template.loade…

运维开发笔记整理-JsonResponse对象 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用HttpResponse发送json格式的数据 1>.HttpResponse默认使用的是文本格式(text/html) #!/usr/bin/env python #_*_conding:utf-8_*_ #@author :yinzhengjie #blog:http://www.cnblogs.com/yinzhengjie/tag/python%E8%87%AA%E5…

运维开发笔记整理-Request对象与HttpResponse对象 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.request对象 1>.什么是request 首先,我们得知道request对象是有django创建的,并不是我们自己创建的,通过url文件监听相应的路径,如果客户端访问有请求到了该路径,就会将参数自动传递到request对象里面,它默认是一个WSGIRequest对象,我们可以通过python的dir方法看到request有那些属性,如下图所示: 2>.…

运维开发笔记整理-使用Django编写helloworld 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.创建Django项目 1>.创建Django项目 django-admin startproject devops 2>.Django项目目录结构介绍 3>.启动服务 二.新建Django app 1>.新建一个名为dashboard的app python manage.py startapp dashboard #通过命令行的方式创建出来一个名称为…

Linux内存运维操作及常用命令 1.问题诊断 1.1 什么是 Linux 服务器 Load Average? 1.2如何查看 Linux 服务器负载? 1.3服务器负载高怎么办? 1.4如何查看服务器内存使用率? 1.5如何查看单个进程占用的内存大小? 1.6如何查看正在使用的服务和端口? 1.7如何查看服务器进程信息? 1.8如何停止进程? 1.9如何查找僵尸进程? 1.10为什么启动不了服务器端口? 2.Linux查看内存使用情况 2.1top 2.2ps命令 2.3pmap命令 2.4f…

之前介绍了Docker管理工具-Swarm部署记录,这里简单总结下Docker Swarm的日常维护命令,以作为平时运维笔记. Swarm作为一个管理Docker集群的工具,首先需要将其部署起来,可以单独将Swarm部署于一个节点.另外,自然需要一个Docker集群,集群上每一个节点均安装有Docker.具体的Swarm架构图可以参照下图: Swarm架构中最主要的处理部分自然是Swarm节点,Swarm管理的对象自然是Docker Cluster,Docker Cluster由多个Docker…

<Redis开发与运维>读书笔记   一.初始Redis 1.Redis特性与优点 速度快.redis所有数据都存放于内存:是用C语言实现,更加贴近硬件:使用了单线程架构,避免了多线程竞争问题 基于键值对的数据结构,支持的数据结构丰富.它主要提供了5种数据结构: 字符串. 哈希. 列表. 集合. 有序集合, 同时在字符串的基础之上演变出了位图(Bitmaps) 和HyperLogLog两种神奇的“数据结构”, 并且随着LBS(Location Based Service, 基于位置服务) 的不…

下面是测试验证环节 1. 创建一个 pool rbd create foo --size 4 --image-format 2 --image-feature layering 2. 挂载和格式化 rbd map foo sudo mkfs.ext4 -m0 /dev/rbd0 mkdir ~/foo mount /dev/rbd0 ~/foo   不错的文档:https://cloud.tencent.com/developer/article/1159507 “网红架构师”解决你的Ceph…

文件系统知识总结 新买的硬盘要存放数据需要怎么做? 首先将硬盘装机做RAID,做完RAID后进行分区,分完区后格式化创建文件系统,最后存放数据. 硬盘的内外部结构: 物理形状: 接口类型: IDE(Integrated Drive Electronics)即“电子集成驱动器”. SCSI(Small Computer System Interface)小型计算机系统接口. SATA(Serial Advanced Technology Attachment)串口硬盘. SAS(Serial At…

归档2015年在br做运维时常用的命令,主要梳理出log的过滤操作. 对于日志文本的处理,常见还是sed和awk,具体如下: 统计ip访问量: cat nginx.log |awk '{print $2,$11}' | awk ' {++S[$1]; V[$1]+=$2 } END {for(a in S) print a, S[a], V[a]}' |sort -nrk2 |head 222.93.28.28 132171 15367772663 115.168.84.186 130746 2…

背景 Redis作为目前全球最流行的KV存储,除了使用之外,还需要做好日常的运维工作.关于运维相关的工作,本文从以下方面进行介绍说明(Redis5.0以上): 内存方面 客户端连接方面 工具方面 说明 内存方面 说明:第一个值是memory stats提供,第二个值是info memory提供 服务内存相关(单位:字节) 消耗的最大峰值内存 peak.allocatedused_memory_peak 最大分配使用内存 total.allocated used_memory 启动时消耗的初始内存…

点击关注上方"开源Linux", 后台回复"读书",有我为您特别筛选书籍资料~ 相关阅读: ceph分布式存储简介 常见问题 nearfull osd(s) or pool(s) nearfull 此时说明部分osd的存储已经超过阈值,mon会监控ceph集群中OSD空间使用情况.如果要消除WARN,可以修改这两个参数,提高阈值,但是通过实践发现并不能解决问题,可以通过观察osd的数据分布情况来分析原因. 配置文件设置阈值 "mon_osd_full_ra…

最近博主开始接触自动化运维.首先就是zabbix这个开源的监控系统 一开始博主只是在自己的虚拟机上尝试安装.最后终于开始在公司的服务器上正式安装,教程博主也是通过度娘找的 这是原文:链接 安装环境:Centos 6.5 zabbix版本:zabbix-2.4.5  此版本下载云盘下载地址:百度云 官网链接:链接 博主一开始遇到很多权限问题.最终还是用root用户安装的 第一步先安装基础依赖包.主要如果本身就已经安装的包不用再次安装.可能会导致多个版本: [root@zabbix-server ~…

转:http://www.codeweblog.com/weblogic11g-%e5%b8%b8%e7%94%a8%e8%bf%90%e7%bb%b4%e6%93%8d%e4%bd%9c/ 希望这篇能把weblogic运维时经常遇到的问题.常用的配置汇总到一起. 1.配置jvm参数: 一般在domain启动过程中会看到以下启动的日志信息,如下图所示: 图中红色方框部分为启动weblogic domain的命令.其中包括了jvm参数以及classpath信息. [注意] java -client…

格式 json 数据增强可读性 --format json-pretty -f json-pretty ceph quorum_status -f json-pretty ceph mon_status -f json-pretty ceph集群报 Monitor clock skew detected 错误问题排查 产生问题的原因,monitor的时钟同步出现时间偏差,ceph默认偏差大于0.05s就会出现这个报警. $ ceph health detail HEALTH_WARN clock…

作者:gnuhpc 出处:http://www.cnblogs.com/gnuhpc/ 1.1 启动 1.1.1 启动redis $ redis-server redis.conf 常见选项: ./redis-server (run the server with default conf) ./redis-server /etc/redis/6379.conf ./redis-server --port 7777 ./redis-server --port 7777 --slaveof 127…

目前公司有几台机器比较重要,需要把所有用户的操作记录下来,于是就是参照资料来完成 1. vim /etc/profile.d/oplogrc.sh logdir=/opt/oplog userdir=$logdir/${LOGNAME} DT=`date +"%Y%m%d"` export HISTFILE="/$userdir/history.$DT" export HISTTIMEFORMAT="%F %T :" export HISTSIZ…

1.      处理hadoop的namenode宕机 处理措施: 进入hadoop的bin目录,重启namenode服务 操作命令: cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode 2.      处理hadoop的jobtacker宕机 处理措施: 进入hadoop的bin目录,重启jobtacker服务 操作命令: cd path/to/hadoop/bin ./hadoop-daemon.sh start jobtracke…

追查系统故障,需要找到问题的根源安置组和相关的OSD. 一般来说,归置组卡住时 ceph 的自修复功能往往无能为力,卡住的状态细分为: 1. unclean 不干净:归置组里有些对象的复制数未达到期望次数,它们应该在恢复中. 2. inactive 不活跃:归置组不能处理读写,因为它们在等着一个持有最新数据的 OSD 再次进入 up 状态. 3. stale 发蔫:归置组们处于一种未知状态,因为存储它们的 OSD 有一阵子没向监视器报告了(由 mon osdreport timeout 配置).…

MongoDB复制集是一个带有故障转移的主从集群.是从现有的主从模式演变而来,增加了自动故障转移和节点成员自动恢复.MongoDB复制集模式中没有固定的主结点,在启动后,多个服务节点间将自动选举产生一个主结点.该主结点被称为primary,一个或多个从结点被称为secondaries.primary结点基本上就是master结点,不同之处在于primary结点在不同时间可能是不同的服务器.如果当前的主结点失效了,复制集中的其余结点将会试图选出一个新的主结点. MongoDB复制集模式的好处: 一…

下面是工作中对Oracle日常管理操作的一些总结,都是一些基本的oracle操作和SQL语句写法,在此梳理成手册,希望能帮助到初学者(如有梳理不准确之处,希望指出). 一.数据库的启动和关闭 1.1 数据库的正常启动步骤 要想启动或关闭ORACLE系统必须首先切换到ORACLE用户 [root@kevin ~]# su - oracle 以DBA的身份登录数据库(oracle用户下执行) [oracle@kevin ~]$ sqlplus "/as sysdba" 执行启动数据库命令…

权限总结: 1. 可读r:表示具有读取\阅读文件内容的权限: 2. 可写w:表示具有新增.修改文件内容的权限: a. 若果没有r配合,那么vi编辑文件会提示无法编辑(但可以强制编辑),echo可以重定向或追加: b. 特别提示:删除文件(修改文件名等)的权限式受父目录的权限控制,和文件本身权限无关: 3. 可执行x:表示具有执行文件的权限: a. 文件本身要能够执行: b. 普通用户同时还需要具备r的权限才能执行: c.  root只要有x的权限就能执行. 目录读写执行权限说明: 1. 可读r:…