背景 作为SRE,我们有很多很多自动化的工具,大部分都是自动运行的,还有一部分是CLI,我们一直苦于没有一个自己的管理后台网站,受限于前端能力薄弱,开发出来的网页只能说凑活能用,但是不好用. 现在我们有了Streamlit这个神奇,可以仅使用Python就开发一个简单的后台管理网站,同时也可以作为我们的内容输出渠道. 简介 官网:https://streamlit.io/ 本身streamlit是给做机器学习的人开发的,作为一个实时的数据展示和输出工具,但是自从我们发现它具有一些交互功能(For

Python语言是一种面向对象.直译式计算机程序设计语言,由Guido van Rossum于1989年底发明.Python语法简捷而清晰,具有丰富和强大的类库,具有可扩展性和可嵌入性,是现代比较流行的语言. 一.最流行的语言 IEEE Spectrum 的数据记者挖掘了 10 个在线来源组合了 12 种指标给 48 种语言进行排名,评出了2017 年十大流行编程语言.它的结果与流行的编程语言排名存在显著差异一点是:今年最流行的是语言是 Python,除此之外十大编程语言基本上与其他来源的排名相

有很多开源自动化运维工具都很好用如ansible/salt stack等,完全不用重复造轮子.只不过,很多运维同学学习Python之后,苦于没小项目训练.本篇就演示用Python写一个批量操作主机的工具. 1 思路分析 在运维工作中,古老的方式部署环境.上线代码可能都需要手动在服务器上敲命令,不胜其烦.所以,脚本,自动化工具等还是很有必要的.我觉得一个批量操作工具应该考虑以下几点: (1)本质上,就是到远程主机上执行命令并返回结果. (2)做到批量.也就是要并发对多台机器进行操作. (3)将返回

这是一个创建于 375 天前的主题,其中的信息可能已经有所发展或是发生改变. 由数人云.优维科技.中生代社区联合发起的 系列 Meetup < DevOps&SRE 超越传统运维之道> 先后在深圳.北京举行过两场 7 月 15 日上海站,敬请期待 ▼ 王一男老师在< DevOps&SRE 超越传统运维之道·北京站>活动中,结合百度的实践,讲述落地 DevOps 时,首先要拆掉业务→开发→测试→运维中间的这三面墙,一起来看一下吧! 数人云友情提示:前方全文约 9000

STRING 我们会经常打交道的string类型,在redis中拥有广泛的使用.也是开启redis数据类型的基础. 在我最最开始接触的redis的时候,总是以为字符串类型就是值的类型是字符串. 比如:SET key value 我的理解是value数据类型是stirng类型,现在来看呢,这句话说得不够具体全面. 所有的键都是字符串类型 字符串类型的值可以是字符串.数字.二进制 这里也就引出了,另一个概念:外部类型和内部类型 外部类型 vs 内部类型 这里的外部类型,就是我们所熟知的:字符串(st

<Redis开发与运维>读书笔记   一.初始Redis 1.Redis特性与优点 速度快.redis所有数据都存放于内存:是用C语言实现,更加贴近硬件:使用了单线程架构,避免了多线程竞争问题 基于键值对的数据结构,支持的数据结构丰富.它主要提供了5种数据结构: 字符串. 哈希. 列表. 集合. 有序集合, 同时在字符串的基础之上演变出了位图(Bitmaps) 和HyperLogLog两种神奇的“数据结构”, 并且随着LBS(Location Based Service, 基于位置服务) 的不

常见的持久化开发与运维问题 fork 操作 fork 操作是一个同步操作,若执行较慢会阻塞 redis 主线程 执行时间与内存量相关:内存越大,耗时越长:虚拟机较慢,真机较快 查看 fork 执行时间,可做监控 info : latest_fork_usec 上一次执行fork的微秒数 改善 fork 优先使用物理机或者高效支持fork操作的虚拟化技术 控制 Redis 实际最大可用内存:maxmemory 合理配置 Linux 内存分配策略 vm.overcommit_memory = 1 默

教程目录 一:python基础(略,基础还是自己看书学吧) 二:bottle基础 python bottle web框架简介 python bottle 框架环境安装 python bottle 框架基础教程:路由(url定义) python bottle 框架基础教程:HTTP 请求方法 python bottle 框架基础教程:模板使用 python bottle 框架基础教程:模板语法 python bottle 框架基础教程:模板继承 python bottle 框架基础教程:静态资源

随着云计算.大数据.物联网.移动互联网.人工智能.5G等高新技术的快速发展,数据中心及网络基础设施呈现出井喷式的增长模式,对设备商来说,多.快.好.省的实现定制化网络管理开发,可极大的扩充设备适用范围,快速形成整套集中管控的网络集成解决方案. 设备商通过定制化的网络管理开发服务,不仅可切入外围的产品及集成领域,还可在用户后续的升级改造活动中占据有利位置.所以,作为定制化网络管理开发服务提供商的北京智和信通技术有限公司对于设备商有着重要的意义. 一部分设备商组建网络管理软件开发团队,开发适用于自家

在开发及项目运维中,对数据库的操作大家目前都是使用客户端工具进行操作,例如MySQL的客户端工具navicat,Oracle的客户端工具 PL/SQL Developer, MSSQL的客户端工具查询分析器等.目前大家使用的大都是C/S单机版的客户端工具,要连数据库的电脑都要安装客户端工具, navicat还比较好安装,而Oracle客户端工具安装就比较麻烦了. 当对远程服务器的数据库进行访问管理时,特别是Linux服务器,都要开启相应端口,这样也增加了服务器的安全隐患,增加了工作量. 如果有基

在开发及项目运维中,对数据库的操作大家目前都是使用客户端工具进行操作,例如MySQL的客户端工具navicat,Oracle的客户端工具 PL/SQL Developer, MSSQL的客户端工具查询分析器等.目前大家使用的大都是C/S单机版的客户端工具,要连数据库的电脑都要安装客户端工具, navicat还比较好安装,而Oracle客户端工具安装就比较麻烦了. 当对远程服务器的数据库进行访问管理时,特别是Linux服务器,都要开启相应端口,这样也增加了服务器的安全隐患,增加了工作量. 如果有基

Redis用途 1.缓存 Redis提供了键值过期时间设置, 并且也提供了灵活控制最大内存和内存溢出后的淘汰策略. 可以这么说, 一个合理的缓存设计能够为一个网站的稳定保驾护航. 2.排行榜系统 Redis提供了列表和有序集合数据结构, 合理地使用这些数据结构可以很方便地构建各种排行榜系统. 3.计数器应用 Redis适用于高并发的递增.递减功能 递增指令:incr(默认从0开始) 递减指令:decr(默认从0开始,递减会出现负数,这点跟memcache不一样,mc到0) 4.社交网络 赞/踩.

原文地址:http://edustack.org/ 所需知识: Linux Git Python (Django Mako coffeescript sass) (MongoDB Mysql) Ansible-playbook Gem 项目介绍: http://code.edx.orghttp://iblstudios.com/wp-content/uploads/2014/08/IBL-Open-edX-Ebook-2014.pdf 项目页: http://github.com/edxhttp

文章地址: https://alanhou.org/basic-networking-socket-programming/ 第一章 Python脚本概述 第二章 Python脚本调试和性能测试 第三章 单元测试-单元测试框架的介绍 第四章 自动化常规运维活动 第五章 文件.目录和数据处理 第六章 文件存档.加密和解密 第七章 文本处理和正则表达式 第八章 文档和报告 第九章 操作各类文件 第十章 网络基础 – Socket编程 第十一章 使用Python脚本处理邮件 第十二章 使用Telnet

参考了很多资料,发现现在很多环境用的都是GNS3加linux下的python,几乎没有是用EVE-NG加上pycharm的教程,EVE的功能如此强大,存在的教程却较少,这里我出一篇教程供使用EVE作为模拟器跑自动化运维的做参考. 准备三层交换机镜像,二层和三层交换机.路由器镜像,链接:https://pan.baidu.com/s/1RGKEYL5pT0DsUohG4U-nZg  提取码:6sm6 首先将eve和物理机相连 先介绍我的环境(eve中有两张网卡,一张是面向虚拟网络设备的,一张是物理

过去几个月,DevOps on Windows网站推出了一系列文章,详细讲解了开发者应怎样创建便于运维的Windows服务.这一系列文章详细分析了如何克服在运维部门看来最困难的部分:Windows服务的安装与其启动阶段. 其中有些困难是由于安装基于.Net的Windows服务时,普遍使用了InstallUtil这个非原生的Windows工具.同时要特别当心启动阶段的代码,它应在启动失败时确保提供清晰的错误信息,并且要能够支持运行时间较长的操作,例如从数据库中装载与缓存数据. DevOps on

Getting Start 高性能 性能优势的体现 C语言实现的内存管理 epoll的I/O多路复用技术+IO连接/关闭/读写通过事件实现异步的非阻塞IO TCP协议 单线程架构,不会因为高并发对服务器造成太多压力 Redis内部不支持序列化 上面几个特性保证了Redis的高并发性能 性能指标 单点并发量:压力测试 命令处理速度:每秒数万次操作 key的数量对性能的影响 内存大小对性能的影响 单线程架构 Redis提供了很多API,单线程架构不需要担心一些API对数据操作的一致性问题 不会因为高

1.前言&基本介绍 在原始的系统架构中,我们都由程序直接连接DB,随着业务的进一步开展,DB的压力越来越大,为了缓解DB的这一压力,我们引入了缓存,在程序连接DB中加入缓存层, 从而减轻数据库压力,而且缓存一般存在于内存中,相比于存在硬盘中的DB在读取速度上绝对是比DB高几个等级.下面我们来简单聊聊关于缓存几个东西 2.缓存的优缺点 缓存的优点就是“快”,一个快字基本能概括了.如上文说的加速读写,分流对数据库的压力,归根结底就是对快字的应用及其本身,缺点主要是如下三点: 1.数据不一致性:DB的

第1章 初识Redis 1. Redis介绍: Redis是一种基于键值对(key-value)的NoSQL数据库. 与很多键值对数据库不同的是,Redis中的值可以是由string(字符串).hash(哈希).list(列表).set(集合).zset(有序集合)等多种数据结构和算法组成,因此Redis可以满足很多的应用场景. 而且因为Redis会将所有数据都存放在内存中,所以它的读写性能非常惊人. 不仅如此,Redis还可以将内存的数据利用快照(RDB)和日志(AOF)的形式保存到硬盘上,这

主题:学员管理系统 需求: 用户角色,讲师＼学员, 用户登陆后根据角色不同,能做的事情不同,分别如下 讲师视图: 管理班级,可创建班级,根据学员qq号把学员加入班级 可创建指定班级的上课纪录,注意一节上课纪录对应多条学员的上课纪录, 即每节课都有整班学员上, 为了纪录每位学员的学习成绩,需在创建每节上课纪录是,同时为这个班的每位学员创建一条上课纪录 为学员批改成绩, 一条一条的手动修改成绩 学员视图: 提交作业 查看作业成绩 一个学员可以同时属于多个班级,就像报了Linux的同时也可以报名Pyt