DevOps之平台架构

唠叨话

关于德语噢屁事的知识点，仅提供精华汇总，具体知识点细节，参考教程网址，如需帮助，请留言。

DevOps平台架构（Platform Architecture）

《虚拟化平台（Platform）》
新建网络Network
首先创建VxNet私有网络，然后器创建SubNet子网，最后配置IP、开启GW和DHCP、设置DNS、连接Router。

新建主机Instance
选择主机配置；绑定公网IP（是否绑定负载均衡LB），绑定私网IP，绑定安全组；管理认证密钥。

路由器；通讯网关，绑定公网和关联私网的设备；端口转发，通过IP|TCP|UDP协议，配置来源和目标的IP和Port；安全隧道，安全机制的认证和密钥，封装模式的隧道和传输。
网络网关：启用，禁用；绑定主机。
网络端口：名称，类型，子网，IP地址，安全组（规则，协议，目标对象）；绑定主机。
网络隧道：名称，IKE策略、IPSec策略、VPN服务、远端IP、认证密钥、目标网络；绑定主机。

新建磁盘Volume
选择磁盘配置；绑定主机。

主机进入及退出SSH
[root@test ~]# fdisk -l # 查看硬盘
[root@test ~]# mkfs -t ext3 /dev/vdb1 # 格式化/dev/vdb1分区
[root@test ~]# mkdir /myos1 # 创建目录准备挂载分区
[root@test ~]# mount /dev/vdb1 /myos1 # 将/dev/vdb1挂载到创建目录
[root@test ~]# df -k # 验证挂载
[root@test ~]# umount /dev/vdb1 # 取消挂载

《OpenStack（虚拟化工具）》
Cloud云：Deploy部署、Configure配置、Manage管理。
部署模式：私有云(Private Cloud)、公有云(Public Cloud)、混合云(Hybrid Cloud)、社区云(Community Cloud)。
服务模式：设施IaaS、平台PaaS、软件SaaS。
技术组件：虚拟化管理程序Hypervisor、虚拟化管理接口、资源交互API、消息列队MQ、分布式存储、容器、网络虚拟化等。

OpenStack初始项目模块
Nova（NASA开发的虚拟服务器部署和业务计算模块），Swift（Rackspace开发的分布式存储模块）。
OpenStack现今项目模块
https://www.openstack.org/software/

《OpenStack》
Compute(Nova)、Network(Neutron)、Object Storage(Swift)、Block Storage(Cinder)
Identity Service(Keystone)、Image Service(Glance)、Telemetry(Ceilometer)
Database Service(Trove)、Orchestration(Heat)、Dashboard(Horizon)

《Compute计算》
Nova虚拟机计算、Ironic裸机计算、Glance镜像、Magnum容器部署、Zun容器管理、Storlets对象存储计算
《Storage存储》
Swift存储、Cinder块存储、Karbor数据安保、Freezer备份恢复、Manila共享文件系统
《Networking网络》
Neutron网络、Designate域名解析、Octavia负载平衡器、Dragonflow网络流、Kuryr网络容器、Tacker网络功能虚拟化、Tricircle多集群网络部署
《Data数据》
Trove数据库管理、Sahara数据分析、Searchlight数据搜索
《Security安全》
Keystone身份认证、Barbican密钥管理、Congress策略管理、Mistral工作流
《Management管理》
Horizon网页界面、Senlin集群、Rally性能测试与分析、Vitrage根源原因分析、Watcher优化、Openstack Client命令行界面
《Deployment部署》
Tripleo容器、Kolla容器部署、Openstack Charms、Openstack Ansible、Chef Openstack、Puppet Openstack
《Application应用》
Heat编排编制、Zaqar消息、Murano目录、Solum生命周期
《Monitoring监控》
Ceilometer计量、Gnocchi时序计量、Aodh预警、Panko事件、Monasca监控、Cloudkitty计费

http://www.qyjohn.net/?p=1247
http://blog.csdn.net/liuhong1123/article/details/7265716

OpenStack
http://www.cnblogs.com/sammyliu/category/636967.html
http://www.cnblogs.com/kevingrace/p/5707003.html

XenServer(Ctrix)、CloudStack(Ctrix)
http://www.jb51.net/article/94073.htm
http://www.jb51.net/article/94066.htm
http://koumm.blog.51cto.com/703525/1558660

OpenNebula：http://cloud.51cto.com/art/201507/484072.htm
OpenQRM：https://linux.cn/article-6089-1.html
Eucalyptus：https://wenku.baidu.com/view/f52a380d6c85ec3a87c2c519.html
KVM(ConVirt)：http://koumm.blog.51cto.com/703525/1288795
Hadoop：https://wenku.baidu.com/view/975d4ad471fe910ef12df889.html

《Zabbix（监视工具）》
监控组成部分
Zabbix Server必选，Zabbix Agent可选。

监控配置流程
Host groups（主机组）->Hosts（主机）->Applications（监控项组）->Items（监控项）->Triggers（触发器）->Event（事件）->Actions（处理动作）->User groups（用户组）->Users（用户）->Medias（告警方式）->Audit（日志审计）

监控采集方式：服务端（SNMP、IPMI、JMX），客户端（Agent）。
监控数据展示：单维度（graph），多维度（screen）。
监控异常报警：email、sms、script、jabber。

监控采集方式
Zabbix Agent：HTTP FTP协议监控、VMWare Xen应用监控、SSH NTP系统服务监控。
SNMP Agent：监控主机、处理器、内存、硬盘、网络设备、带宽流量。
IPMI Agent：监控处理器和主板的温度、电压、风扇转速。
JMX Agent：监控应用程序。
Agentless Monitoring：监控ping、telnet。
Web Monitoring：监控网页正异常。
Database Monitoring：mysql内部监控数据库，php外部监控脚本。
Internal Check：监控Zabbix Server进程状态，进程启动时间，主机数。
Calculated Monitoring：监控采集数据运算结果。
Custom Command Monitoring：监控自定义方式。

Zabbix API
功能：远程管理及检索配置，远程检索及浏览数据。
平台：Alerta报警平台，Slack沟通协作平台。
Alerta告警平台，划分为二大部分：alerta-server，alerta-worker。
alerta-server：接收，zabbix的报警信息存入数据库（MongoDB）。
alerta-worker：发送，取出数据库（MongoDB）zabbix的告警信息。
Slack沟通协作平台，沟通和协作的集成工具。

监控文件系统
Ceph分布式文件系统。

监控数据库系统
MGR（基于Paxos协议的MySQL数据库集群部署）、Gelera（基于Linux系统的MySQL数据库集群部署）。

监控日志系统
ELK（Elasticsearch + Logstash + Kibana）、EFK（Elasticsearch + Fluentd + Kibana）。
日志记录：Log4j、Syslog。
日志采集：Logstash、Fluentd。
日志索引：Elasticsearch。
日志计量：Kibana。

监控可视化系统
InfluxDB + Telegraf|Collectd + Grafana。
InfluxDB，基于Go语言开发的一个分布式时序数据库。
Telegraf，基于Go语言开发的一个系统性能采集工具。
Collectd，基于C语言开发的一个系统性能采集工具。
Grafana，基于Js语言开发的一个度量仪表盘和图形编辑器工具。

监控集群部署
Pacemaker资源管理器
OpenStack管理平台（Nova计算、Glance镜像、Swift存储、Cinder块存储、Heat编排编制、Zaqar消息、Keystone身份认证、Ceilometer计量、Gnocchi时序计量、Aodh预警、Panko事件）
Ceph文件系统、InfluxDB时序数据库、Telegraf或Collectd数据采集、Grafana网页可视化
Zabbix监控系统（Zabbix Server、Zabbix Agent）、Zabbix Agent
Neutron网络组件（Neutron Server、Neutron Agent）、Neutron（DHCP、L3、Metadata、OpenvSwitch）Agent
Logging日志（ElasticSearch索引、Logstash采集、Fluentd采集、Kibana计量）
Database数据库（MySQL+MGR或MariaDB+Gelera）
Container容器（Docker或Rocket）
Network网络（Keepalived、DNSmasq）
其他相关：Nagios + Cacti、Zabbix + Puppet|Saltstack、Ganglia、Smokeping、Pingdom、Piwik、Graphite。

《Redis（缓存）》
1、客户端分片机制：程序代码块（2.X）
2、代理分片机制：Twemproxy、Codis
3、协助分片机制：Redis Cluster（3.X）

《生态链（Ecological Chain）》
《Google（谷歌）》
Gfs，MapReduce，BigTable，Chubby；Caffeine，Pregel，Dremel；Spanner。

《Alibaba（阿里巴巴）》
Dubbo，FastDFS，Tair。

《Apache Hadoop（海杜普）》
企业服务商：Cloudera，Hortonworks，MapR。

《Apache Hadoop》
结构体系：Common公共模块包，arn资源管理器，Hdfs数据存储系统，MapReduce数据计算框架。

《Apache Hadoop 项目》
Hadoop ZooKeeper，集群管理工具（协调系统）。
Hadoop Oozie，工作流（任务调度）。

Hadoop Ambari，集群管理工具，基于Web的系统部署及配置平台。
Hadoop Whirr，集群管理工具，类库。
Apache Kafka，消息队列。
Apache Falcon，数据生命周期。
Aapche Ranger，安全管理。
Apache Knox Gateway，安全网关。

Hadoop Hdfs，分布式文件系统
Hadoop HBase，数据列式存储系统。
Apache Kudu，数据列式存储系统。
Hadoop Cassandra，数据键值存储系统。
Hadoop Flume，日志收集工具，参照FaceBook Scribe日志收集系统。
Hadoop Sqoop，数据迁移工具，数据仓库技术。

Hadoop Chukwa，数据采集、存储、分析的监控系统。
Hadoop Avro，数据序列化，数据交换格式。

Hadoop Pig，数据编程语言，脚本式。
Hadoop Hive，数据仓库系统，类似SQL。
Apache Impala，数据查询系统，类似SQL，参照Google Dremel|Drill项目。
Apache Crunch，数据计算API接口，常见任务的模式库。
Apache HCatalog，元数据管理服务统一平台。

Hadoop Hue，基于Web-UI界面的数据管理工具。
Apache Zeppelin，基于网页的数据分析工具。
Apache BigTop，基于项目打包、分发和测试的工具。

Hadoop Yarn，资源管理器
Hadoop Mesos，资源调度管理器。

Hadoop MapReduce，Batch模型计算。
Hadoop Tez，DAG模型计算。
Hadoop Spark，MM模型计算（DAG，流式，迭代式）。
Apache Spark（Graphx），图计算。
Apache Spark（Mlib），机器学习。
Apache Spark（Streaming），流计算。
Hadoop Hama，BSP模型计算。
Apache Giraph，图计算。
Apache Mahout，机器学习算法库。