Hbase运维参考（项目）

1 Hbase日常运维 1.1 监控Hbase运行状况 1.1.1 操作系统 1.1.1.1 IO 群集网络IO,磁盘IO,HDFS IO IO越大说明文件读写操作越多.当IO突然增加时,有可能:1.compact队列较大,集群正在进行大量压缩操作. 2.正在执行mapreduce作业可以通过CDH前台查看整个集群综合的数据或进入指定机器的前台查看单台机器的数据: Io wait 磁盘IO对集群的影响比较大,如果io wait时间过长需检查系统或磁盘是否有异常.通常IO增加时io wait也会…

关于Prometheus运维实践项目

关于Promethues运维实践项目 1. 什么是Prometheus运维实践项目是什么 Prometheus,普罗米修斯,是古希腊神话中为人间带来火种的神. Prometheus运维实践项目,是作为IT运维从业者的我,根据自己的知识背景.工作经历.思维层次,现有条件,想要创建推进完成的一个运维学习和实践平台. 通过这个项目的推进和平台的构建,我本人能够探索巩固完善自己的运维知识体系,提高运维认知和实践能力,其他偶然访问到我博客或者项目的运维初学者或同行,也能够明确行路方向和实…

HBase运维基础--元数据逆向修复原理

背景鉴于上次一篇文章——“云HBase小组成功抢救某公司自建HBase集群,挽救30+T数据”的读者反馈,对HBase的逆向工程比较感兴趣,并咨询如何使用相应工具进行运维等等.总的来说,就是想更深层理解HBase运维原理,提高运维HBase生产环境的能力,应对各种常见异常现象.不同的读者对hbase的了解程度不同,本文不打算着重编写一个工具怎么使用,而是从HBase的运维基础知识介绍开始讲解.为了能帮助大部分读者提高HBase运维能力,后续会写个“HBase运维系列” 专题系列文章,欢迎大家关…

HBase 运维分析

问题分析的主要手段 1.监控系统:首先用于判断系统各项指标是否正常,明确系统目前状况 2.服务端日志:查看例如region移动轨迹,发生了什么动作,服务端接受处理了哪些客户端请求. 3.gc日志:gc情况是否正常 4.操作系统日志和命令:操作系统层面.硬件是否故障,当前状况如何 5.btrace:实时跟踪目前服务端的请求和处理情况 6.运维工具:通过内置于系统中的功能,查看服务器实时处理状况其实以上手段,大部分系统都具备,不过各有各的用法,下面我会通过常见的问题来梳理这6大手段. 常见问题1:…

HBase运维实践－聊聊RIT的那点事

相信长时间运维HBase集群的童鞋肯定都会对RIT(Region-In-Transition,很多参考资料误解为Region-In-Transaction,需要注意)有一种咬牙切齿的痛恨感,一旦Region处于长时间的RIT就会有些不知所措,至少以前的我就是这样过来的.正所谓“恐惧来源于未知”,不知所措意味着我们对RIT知之甚少,然而“凡事都有因果,万事皆有源头”,处于RIT状态的Region只是肉眼看到的一个结果,为什么会处于RIT状态才是问题探索的根本,也是解决问题的关键.本文就基于hbas…

hbase运维

NoSQL现在风生水起,hbase的使用也越来越广,但目前几乎所有的NoSQL产品在运维上都没法和DB相提并论,在这篇blog中来总结下我们在运维hbase时的一些问题以及解决的方法,也希望得到更多hbase同行们的建议,:) 在运维hbase时,目前我们最为关注的主要是三大方面的状况: 1. Cluster load: 2. 读写: 3. 磁盘空间. 1. Cluster load 集群的load状况直接反映了集群的健康程度,load状况的获取非常容易,直接部署ganglia即可得到,由于hb…

JSP_运维_JSP项目部署到server(适合0经验新手)

实战:真正server端部署jsp项目经验总结与记录(完整过程从0到10适合对server端部署0经验新手) jsp+tomcat+mysql项目部署到真正server; servermysql安装; serverjdk安装; servertomcat安装; serversql文件管理; serverjsp项目与servermysql连接; 将项目与域名进行绑定的相关教程已经更新.网址第一步是安装jdk,jdk应该是全部须要安装的软件中最先安装的. jdk详细怎样安装能够參考这篇我截取了能够…

HBase运维经验

http://www.qconbeijing.com/download/Nicolas.pdf 重点看了下facebook做了哪些改进以及他们的运维经验,比较重要的有以下几点: 改进: 1 加强了行级的ACID约束 2 改善了数据的分布规则,可以配置hdfs的replicas所在节点 3 改写了master的assign规则,利用zk来进行assign 4 不用停机地重启cluster 5 改进了compaction策略 6 批量查询的优化 7 对压缩进行了改进运维经验: 1 事先切分好的re…

HBase(五): HBase运维管理

HBase自带的很多工具可用于管理.分析.修复和调试,这些工具一部分的入口是hbase shell 客户端,另一部分是在hbase的Jar包中. 目录: hbck hfile 数据备份与恢复 Snapshots Replication Export CopyTable HTable API Offline backup of HDFS data hbck: hbck 工具用于Hbase底层文件系统的检测与修复,包含Master.RegionServer内存中的状态及HDFS上数据的状态之间的一致…

CMDB运维开发项目

ITIL:Information Technology Infrastructure Library 信息技术基础架构库,主要适用于IT服务管理(ITSM).ITIL为企业的IT服务管理实践提供了一个客观.严谨.可量化的标准和规范. CMDB(Configuration Management Database 配置管理数据库) 存储与管理企业IT架构中设备的各种配置信息,它与所有服务支持和服务交付流程都紧密相联,支持这些流程的运转.发挥配置信息的价值,同时依赖于相关流程保证数据的准确性.在实际的…

Hbase运维手册（1）

1. region情况需要检查 1. region的数量(总数和每台regionserver上的region数) 2. region的大小如果发现异常可以通过手动merge region和手动分配region来调整从CDH前台和master前台以及regionServer的前台都可以看到region数量,如master前台: 在region server前台可以看到storeFile大小: 2. 缓存命中率缓存命中率对hbase的读有很大的影响,可以观察这个指标来调整bl…

10大HBase常见运维工具整理

摘要:HBase自带许多运维工具,为用户提供管理.分析.修复和调试功能.本文将列举一些常用HBase工具,开发人员和运维人员可以参考本文内容,利用这些工具对HBase进行日常管理和运维. HBase组件介绍 HBase作为当前比较热门和广泛使用的NoSQL数据库,由于本身设计架构和流程上比较复杂,对大数据经验较少的运维人员门槛较高,本文对当前HBase上已有的工具做一些介绍以及总结. 写在前面的说明: 1) 由于HBase不同版本间的差异性较大(如HBase2.x上移走了hbck工具),本文使用…

Nginx/Apache之伪静态设置 - 运维小结

一.什么是伪静态伪静态即是网站本身是动态网页如.php..asp..aspx等格式动态网页有时这类动态网页还跟"?"加参数来读取数据库内不同资料,伪静态就是做url重写操作(即rewrite).很典型的案例即是discuz论坛系统,后台就有一个设置伪静态功能,开启伪静态后,动态网页即被转换重写成静态网页类型页面,通过浏览器访问地址和真的静态页面没区别.但是记住:做伪静态的前提就是服务器要支持伪静态重写URL Rewrite功能. 考虑搜索引擎优化(即SEO),将动态网页通过服务器处理成…

Linux运维发展与学习路线图

记录一下Linux所要懂的知识体系,方便未来学习的时候自我验证. Linux运维课程体系大纲: Linux入门了解Linux基础,知道什么是Linux,会安装Linux,使用相关基础命令,如:cd,cp,rm,ls,mkdir等等 Linux中低级掌握Linux启动流程,网卡配置,磁盘配置,系统管理等.如grub,boot,分区表,fdisk的使用,ifconfig,nmcli,进程监控,中断. Linux中高级部署服务,管理服务,通常企业需要用到的技能有: http 服务及安全管理 ht…

运维平台之CMDB系统建设

CMDB是运维的基础核心系统,所有的元数据和共享数据管理源,类似于业务中的账号平台的作用.本篇文章,我将从概念篇.模型篇.到实现与实施篇具体的进行阐述. CMDB也称配置管理,配置管理一直被认为是 ITIL 服务管理的核心,因为其他所有流程均需要使用配置管理数据库 (CMDB).在上篇的平台体系中,CMDB位于最底层的支持系统位置上,可见其作用.配置管理为什么起到核心的作用,这个地方不做逐一介绍,简单举个例子,比如说变更系统发起了一个部署请求,要部署某个版本到现网,部署完成之后,上层的变更系统会…

IT运维外包甩不掉的包袱

对一个企业的IT信息部门来说,保证IT系统的安全.稳定和可靠运行是IT部门义不容辞的职责,但IT系统的安全.稳定和可靠是相对的,得看企业IT投入和ROI.现在企业的IT系统运维面临着多重压力:一方面是IT部门人员少.系统多.任务重,另一方面企业市场竞争压力越来越大,需要IT部门削减成本.规范控制以更高效地服务业务部门. 越来越多的企业倾向于将某些应用系统.基础设施和部分非核心系统运维事务外包给IT运维服务商.但外包是一柄双刃剑,外包的好处是可以向企业灌输技术与人才,帮助企业摆脱繁琐的IT运维业务…

51cto运维培训课程

线路图: Linux运维架构师基础提高篇(120课时) 基础提高篇(240课时) Linux系统基础及系统管理 Shell编程入门及进阶 linux安全管理和企业级安全防范策略企业级集群/存储专题 http代理加速.应用服务器Nginx.Haproxy.Varnish 虚拟化及IaaS云技术专题kvm.Openstack Linux平台常见网络服务入门和掌握 Mysql企业级入门和提升自动化运维相关专题海量数据并行处理系统(Hadoop) 中级班: 实训主题实训内容实训目标 1.操作…

sso 自动化运维平台

单点登录SSO(Single Sign-On)是身份管理中的一部分.本文中作者开发了一个自动化运维平台中的统一认证接口,单点登录平台通过提供统一的认证平台,实现单点登录.因此,应用系统并不需要开发用户认证程序. AD: 前言: 在工作中,大大小小开发了不少自动化运维平台,能更好的提高效率以及人工的失误.有朋友问我,登录平台的账号密码如何的管理.当听到这个问题的时候,我说直接入库呀,但是说完后,觉得相当的不妥,最少和我现在解决方案也不一样. 以前做运维开发项目的时候,每个app都是一套用户密码,顶…

lykops运维自动化

lykops lykops是一套web可视化的运维自动化项目,基于python3+django开发的. 已实现功能 1.用户管理详情 2.主机管理主要功能:收录主机,为其他模块(例如:执行任务)直接调用提供便利. 详情 3.任务执行已实现基于ansible执行运维任务. 可视化.简化执行ansible(github地址,该系统称之为原生ansible,和本系统的ansible进行区分)任务,并提供详细的任务执行报告. 详情关于vault密码什么是vault密码 vault密码用于加解密…

Linux运维工程师学习大纲

linux运维课程大纲: Linux运维: Linux系统管理: Linux服务及安全管理: httpd,lamp,lnmp cache:memcached,varnish DB:mysql(mariadb) Linux Cluster: LB Cluster:Nginx,LVS HA Cluster:Keepalived Linux ops:ansible monitoring:zabbix shell脚本编程 http: tomcat,lnmt,lamt,session replicatio…

Linux运维课程体系大纲

Linux入门: Linux系统管理: Linux服务及安全管理: httpd,lamp,lnmp Cache:memcached,varnish(缓存系统) DB:mysql(mariadb) Linux Cluster: LB Cluster(负载集群):Nginx(七层),LVS(四层) HA Cluster(高可用集群):Keepalived Linux Ops:ansible Monit…

项目实战10.1—企业级自动化运维工具应用实战-ansible

实战环境: 公司计划在年底做一次大型市场促销活动,全面冲刺下交易额,为明年的上市做准备.公司要求各业务组对年底大促做准备,运维部要求所有业务容量进行三倍的扩容,并搭建出多套环境可以共开发和测试人员做测试,运维老大为了在年底有所表现,要求运维部门同事尽快实现,当你接到这个任务时,有没有更快的解决方式? 项目实战系列,总架构图 http://www.cnblogs.com/along21/p/8000812.html 一.简单介绍 1.定义 ansible是新出现的自动化运维工具,基于Python开…