“ 本篇文章介绍的是PaaS平台Pivotal Cloud Foundry(以下简称PCF)的初步使用,相比于传统的IaaS平台(比如阿里云),PCF可实现快速迭代开发与部署,让您专注于业务开发.” 还不清楚PaaS与IaaS平台区别的同学,点此传送门. 在正文开始前先闲聊一下PCF是什么,什么公司开发的,用来干什么的.PCF是一个平台即服务云平台,基于Cloud Foundry做了商业化开发,部署在AWS上作为参考实现,这便是PWS.目前PCF支持的Iaas平台有AWS.AZURE.OpenS

Created by Wang, Jerry, last modified on Jul 04, 2016 URL: http://run.pivotal.io/ maintain your mobile phone number, Pivotal will send a verification code to your phone. Enter the received code to activate your account. Create a new Org: clone the sa

1.准备3台主机 本实例是部署实验环境,采用的是Citrix的虚拟化环境,分配了3台RHEL6.4的主机. |------|------| |Master|创建模板后,额外添加20G一块磁盘/dev/xvdb,额外添加2块网卡eth1,eth2| |Standby|创建模板后,额外添加20G一块磁盘/dev/xvdb,额外添加2块网卡eth1,eth2| |Segment01|创建模板后,额外添加50G一块磁盘/dev/xvdb,额外添加2块网卡eth1,eth2| 网络规划 eth0(外部IP

最近开始接触Greenplum,线上也在使用了,感觉还不错,本次介绍一下集群的部署方法.那么Greenplum的架构如下: (架构图来源网络) 简单来说GPDB是一个分布式数据库软件,其可以管理和处理分布在多个不同主机上的海量数据.对于GPDB来说,一个DB实例实际上是由多个独立的PostgreSQL实例组成的,它们分布在不同的物理主机上,协同工作,呈现给用户的是一个DB的效果.Master是GPDB系统的访问入口,其负责处理客户端的连接及SQL 命令.协调系统中的其他Instance(Segm

1.Spring Boot内置web spring Boot 其默认是集成web容器的,启动方式由像普通Java程序一样,main函数入口启动.其内置Tomcat容器或Jetty容器,具体由配置来决定(默认Tomcat).当然你也可以将项目打包成war包,放到独立的web容器中(Tomcat.weblogic等等),当然在此之前你要对程序入口做简单调整. 对server的几个常用的配置做个简单说明: # 项目contextPath,一般在正式发布版本中,我们不配置 server.context-

1.Spring Boot内置web spring Boot 其默认是集成web容器的,启动方式由像普通Java程序一样,main函数入口启动.其内置Tomcat容器或Jetty容器,具体由配置来决定(默认Tomcat).当然你也可以将项目打包成war包,放到独立的web容器中(Tomcat.weblogic等等),当然在此之前你要对程序入口做简单调整. 对server的几个常用的配置做个简单说明: # 项目contextPath,一般在正式发布版本中,我们不配置 server.context-

http://www.infoq.com/cn/news/2015/11/PostgreSQL-Pivotal 近日,Pivotal宣布开源大规模并行处理(MPP)数据库Greenplum,其架构是针对大型分析型数据仓库和商业智能工作负载专门设计的.借助MPP这种高性能的系统架构,Greenplum可以将TB级的数据仓库负载分解,并使用所有的系统资源并行处理单个查询. Greenplum数据库基于PostgreSQL开源技术.本质上讲,它是多个PostgreSQL实例一起充当一个数据库管理系统.

手工搭建 Kubernetes 集群是一件很繁琐的事情,为了简化这些操作,就产生了很多安装配置工具,如 Kubeadm ,Kubespray,RKE 等组件,我最终选择了官方的 Kubeadm 主要是不同的 Kubernetes 版本都有一些差异,Kubeadm 更新与支持的会好一些.Kubeadm 是 Kubernetes 官方提供的快速安装和初始化 Kubernetes 集群的工具,目前的还处于孵化开发状态,跟随  Kubernetes 每个新版本的发布都会同步更新, 强烈建议先看下官方的文

之前写过一个Guide for Cloud Foundry New Teamer.不过似乎已经有些过时,那会实验室主要是针对的CF v1进行的研究,现在已经全面进入V2时代了.所以更新一下关于CloudFoundry运维的一些内容.如果有时间也可再回头看看V1的那个帖子,希望能有所帮助. 部署 关于部署,目前使用的工具一般有两种,BOSH和cf_nise_installer.BOSH适用于集群安装,cf_nise_installer适用于单节点安装.下面主要以cf_nise_installer的

Spark概述 什么是Spark (官网:http://spark.apache.org) Spark是一种快速.通用.可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目.目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL.Spark Streaming.GraphX.MLlib等子项目,Spark是基于内存计算的大数据并行计算框架.Spark基

目录(?)[-] OpenStack简介 OpenStack是一个美国国家航空航天局和Rackspace合作研发的以Apache许可证授权并且是一个自由软件和开放源代码项目 OpenStack是一个云平台管理的项目它不是一个软件这个项目由几个主要的组件组合起来完成一些具体的工作 CloudFoundry简介   PaaS(Platform as a Service)是业界一个比较热门的话题.本文以简洁的方式介绍一种完全使用开源软件迅速部署一个PaaS平台的技术方案:基于OpenStack平台部署

一 .Spark概述 官网:http://spark.apache.org 1.        什么是spark Spark是一种快速.通用.可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目.项目是用Scala进行编写. 目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL.Spark Streaming.GraphX.MLib.SparkR等子

Greeplum 系列(二) 安装部署 本章将介绍如何快速安装部署 Greenplum,以及 Greenplum 的一些常用命令及工具.本章不会涉及硬件选型.操作系统参数讲解.机器性能测试等高级内容,这些会在 "第8章 Greenplum 线上环境部署" 中介绍. 2.1 软件安装及数据库初始化 下面先介绍如何搭建一个完整的 Greenplum 环境.在搭建环境之前,我们必须对 Greenplum 的架构有一定的了解,并且准备好安装部署的机器,机器硬件.操作系统的安装配置读者可自行完成

本篇将向大家介绍如何快捷的安装部署GreenPlum测试集群,大家可以跟着我一块儿实践一把^_^ 1.主机资源 申请2台网易云主机,操作系统必须是RedHat或者CentOS,配置尽量高一点.如果是sa统一初始化的物理机,这里不再描述,因为中间有很多操作(比如关闭puppet服务等等) 2.下载安装包 下载链接: https://network.pivotal.io/products/pivotal-gpdb,需要先注册才能下载,建议用非163邮箱注册:(下载困难可以泡泡找我) 3.开始安装 以

云计算相关的技术差点儿都对传统网络架构和安全规则产生一定的冲击.Pivotal Cloud Foundry(PCF)也不例外,去年8月为了说服专业安全组织允许PaaS部署方案,特意为他们深入讲了下PCF的安全机制,尽管这种原理性的东西不符合开博的宗旨,可是为了防止大家也要说服这种组织,分享出来也算是云计算实务的一部分.只是说实话,个人以为既然我们開始拥抱云计算和大数据,那在安全上就应该有新的认识和实践. 本文是基于PCF1.2进行的说明,如今的版本号里Availability Zone和App

简单来说GPDB是一个分布式数据库软件,其可以管理和处理分布在多个不同主机上的海量数据.对于GPDB来说,一个DB实例实际上是由多个独立的PostgreSQL实例组成的,它们分布在不同的物理主机上,协同工作,呈现给用户的是一个DB的效果.Master是GPDB系统的访问入口,其负责处理客户端的连接及SQL 命令.协调系统中的其他Instance(Segment)工作,Segment负责管理和处理用户数据. 环境准备:操作系统:CentOS Linux release 7.6.1810 (Core

配置Zookeeper安装目录 在宿主机配置zookeeper安装目录:/docker/develop/zookeeper 并且在文件夹创建 data 和logs 目录: mkdir -p /docker/develop/zookeeper/data mkdir -p /docker/develop/zookeeper/logs [root@centos-knight ~]# cd /docker/develop/zookeeper [root@centos-knight zookeeper]#

Kubernetes已然成为IT世界的重要组成部分,并且仍在不断地发展壮大,现阶段,Kubernetes已经可以帮助企业进行微服务训练,加速企业数字化转型.尽管Kubernetes是一款如此令人印象深刻的容器编排工具,但它仍旧非常复杂.要运行和维护Kubernetes集群,您需要具备丰富的容器领域相关经验.再进一步,即便您已经拥有相关的经验,设置集群并部署它也将花费您不少的时间和精力.一旦您成功设置了Kubernetes环境,您就需要对其进行监控和管理. 对于一些组织而言,维护一个Kuberne

目录 1. 认识DevOps 1.1. DevOps工具链 1.2. CI 持续集成(Continuous Integration) 1.3. CD(持续交付 & 持续部署) 1.4. Agile Development 2. DevOps 最佳实践 3. Gitea 3.1. Gitea的部署和使用(Docker) 3.2. 更改 Gitea 外观 3.3. Code Review 3.4. Email 通知 3.4.1. Sendmail 配置 3.4.2. SMTP version 3.5

消息队列 基本概述 MQ,Message Queue,基于TCP协议构建的简单协议,区别于具体的通信协议. 基于通信协议定义和抽象的更高层次的通信模型,一般都是生产者和消费者模型,又或者说服务端和客户端模型. 生产者/消费者模型:一般通过定义生产者和消费者实现消息通信从而屏蔽复杂的底层通信协议.应用于分布式应用系统,而且为之提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量堆积,高吞吐和可靠性重试机制的特性. 核心概念 消息主题:Message Topic,一级消息类型,生产者向其发送