MaxCompute，基于Serverless的高可用大数据服务

【MaxCompute，基于Serverless的高可用大数据服务】的更多相关文章

MaxCompute，基于Serverless的高可用大数据服务

摘要:2019年1月18日,由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学,本次技术沙龙上,阿里巴巴高级技术专家吴永明为大家分享了MaxCompute,基于Serverless的高可用大数据服务,以及MaxCompute低计算成本背后的秘密. 以下内容根据演讲视频以及PPT整理而成. 一.什么是MaxCompute Big Data in Alibaba首先为大家介绍阿里巴巴大数据技术的一些相关背景.正如下图所示,阿里巴巴其实…

实现基于Keepalived主从高可用集群网站架构

背景上一期我们实现了基于lvs负载均衡集群的电商网站架构,随着业务的发展,网站的访问量越来越大,网站访问量已经从原来的1000QPS,变为3000QPS,目前业务已经通过集群LVS架构可做到随时拓展,后端节点已经通过集群技术保障了可用性,但对于前端负载均衡器来说,是个比较大的安全隐患,因为当前端负载均衡器出现故障时,整个集群就处于瘫痪状态,因此,负载均衡器的可用性也显得至关重要,那么怎么来解决负载均衡器的可用性问题呢? 技术说明集群(cluster)技术是一种较新的技术,通过集群技术,可以在…

基于zookeeper的高可用Hadoop HA集群安装

(1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com/blog/2253544 (3)1.x和2.x都支持的集群安装 http://aperise.iteye.com/blog/2245547 (4)hbase安装准备 http://aperise.iteye.com/blog/2254451 (5)hbase安装 http://aperise.it…

基于HAProxy+Keepalived高可用负载均衡web服务的搭建

一原理简介 1.HAProxyHAProxy提供高可用性.负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费.快速并且可靠的一种解决方案.HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理.HAProxy运行在时下的硬件上,完全可以支持数以万计的并发连接.并且它的运行模式使得它可以很简单安全的整合进当前的架构中, 同时可以保护web服务器不被暴露到网络上.2.KeepalivedKeepalived 是一个基于VRRP协议来实现的LVS服务高…

移动基于Percona XTRADB Cluster的大数据解决方式

移动基于Percona XTRADB Cluster的大数据解决方式一.移动的去IOE之旅近期由于"棱镜门"事件的曝光.引起了国家对信息安全问题的注意.各大行业也开展起来去"IOE"的行动.对移动而言, 一方面是对信息安全的操心.还有一方面是对减少成本的考量.对开源体系架构的引入也成为一种现实的方案. 在互联网行业.MySQL的使用成为主流,但随着Oracle对Sun的收购,MySQL的控制权落入Oracle手中,对MySQL可能闭源…

使用Docker Compose部署基于Sentinel的高可用Redis集群

使用Docker Compose部署基于Sentinel的高可用Redis集群 https://yq.aliyun.com/articles/57953 Docker系列之(五):使用Docker Compose编排容器: https://www.cnblogs.com/ee900222/p/docker_5.html…

基于LevelDB的高可用ActiveMQ集群

基于LevelDB的高可用ActiveMQ集群 http://donald-draper.iteye.com/blog/2347913…

[原创]lvs+ospf+nginx实现高可用大流量web架构

lvs+ospf+nginx实现高可用大流量web架构配置总概述架构图: 配置如下: .quagga之zebra配置: # cat /etc/quagga/zebra.conf ! ! Zebra configuration saved from vty ! // :: ! hostname Router password zebra enable password zebra ! interface eth0 ipv6 nd suppress-ra ! interface eth1 ipv6…

搭建高可用的Redis服务，需要注意这些方面！

搭建高可用的Redis服务,需要注意这些方面! HorstXu 占小狼的博客今天 ◎作者 | HorstXu www.cnblogs.com/xuning/p/8464625.html 基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了,我们经常在业务中用其存储用户登陆态(Session存储),加速一些热数据的查询(相比较mysql而言,速度有数量级的提升),做简单的消息队列(LPUSH和BRPOP).订阅发布(PUB/SUB)系统等等.规模比较大的互联网公…

keepalived安装配置实战心得(实现高可用保证网络服务不间断)

keepalived安装配置实战心得(实现高可用保证网络服务不间断) 一.准备2台虚拟机安装的系统是:centos-release-7-1.1503.el7.centos.2.8.x86_64 二.每个虚拟机添加两个网卡 1.网络连接模式为桥接模式(复制网络连接状态) 2.IP地址均 1号机器:第一个网卡IP静态配置 192.168.1.219 第二个网卡IP地址为动态分配 (DHCP) 2号机器:第一个网卡IP静态配置 192.168.1.94 第二个网…

[ Openstack ] Openstack-Mitaka 高可用之计算服务(Nova)

目录 Openstack-Mitaka 高可用之概述 Openstack-Mitaka 高可用之环境初始化 Openstack-Mitaka 高可用之 Mariadb-Galera集群部署 Openstack-Mitaka 高可用之 Rabbitmq-server 集群部署 Openstack-Mitaka 高可用之 memcache Openstack-Mitaka 高可用之 Pacemaker+corosync+pcs高可用集群 Openstack-M…

大数据服务大比拼：AWS VS. AzureVS.谷歌

[TechTarget中国原创] 对于企业用户来说,大数据服务是一项较具吸引力的云服务.三大巨头AWS.Azure以及谷歌都在力争夺得头把交椅,但是最后到底是哪一家能够取得王座之战的胜利呢? 云市场正在快速发展,同样大数据服务也在不断地变化着.虽然因为这三大云供应商(亚马逊网络服务.微软Azure和谷歌)的起点是不同的,这使得云供应商之间的比较也变得更为困难,但那还是值得尝试的. 云大数据是谷歌公司一直以来在搜索应用方面拥有丰富经验具有协同效应的市场领域,但是亚马逊网络服务(AWS)和Azure…

使用kuernetes提供高可用的logstash服务

在kubernetes集群中部署logstash步骤如下: 1:logstash安装文件(目前最新版本2.3.4): 2:编写Dockerfile及执行点脚本文件run.sh,并且修改logstash conf文件,配置为消费指定rabbitmq queue,并持久化消息至目标elasticsearch集群,制作logstash镜像: 3:推送镜像至某个Docker源,可以是公网的源,也可以是公司内部源: 4:在kubernetes主节点编写logstash镜像对应的RC文件: 5:在kuber…

[ Openstack ] Openstack-Mitaka 高可用之网络服务(Neutron)

目录 Openstack-Mitaka 高可用之概述 Openstack-Mitaka 高可用之环境初始化 Openstack-Mitaka 高可用之 Mariadb-Galera集群部署 Openstack-Mitaka 高可用之 Rabbitmq-server 集群部署 Openstack-Mitaka 高可用之 memcache Openstack-Mitaka 高可用之 Pacemaker+corosync+pcs高可用集群 Openstack-M…

[ Openstack ] OpenStack-Mitaka 高可用之镜像服务(glance)

目录 Openstack-Mitaka 高可用之概述 Openstack-Mitaka 高可用之环境初始化 Openstack-Mitaka 高可用之 Mariadb-Galera集群部署 Openstack-Mitaka 高可用之 Rabbitmq-server 集群部署 Openstack-Mitaka 高可用之 memcache Openstack-Mitaka 高可用之 Pacemaker+corosync+pcs高可用集群 Openstack-M…

InfoQ —— 腾讯游戏大数据服务场景与应用

简介周东祥,本人从2010年毕业进入腾讯互动娱乐部门工作,一直致力在腾讯游戏运营开发工作.先后负责SAP业务受理系统,盗号自助系统,元数据系统以及近2年在腾讯游戏大数据运营开发中积累大量的大数据开发与应用经验. 介绍数据采集使用TGlog: 耦合度低,标准接口,介入成本低统一化协议游戏数据的特点: 数据结构依赖于游戏内让那个元数据维度多,变化快 UDP接入成本低异构带来挑战针对大量游戏的日志分析,可以做出如下的分析: 实时计算:强调实时性适时计算:强调随意性,时间区间等可能是任意…

高性能高可用的微服务框架TarsGo的腾讯实践

conference/2.3 高性能高可用的微服务框架TarsGo的腾讯实践 - 陈明杰.pdf at master · gopherchina/conferencehttps://github.com/gopherchina/conference/blob/master/2019/2.3%20%E9%AB%98%E6%80%A7%E8%83%BD%E9%AB%98%E5%8F%AF%E7%94%A8%E7%9A%84%E5%BE%AE%E6%9C%8D%E5%8A%A1%E6%A1%86%E6…

基于ambari搭建hadoop生态圈大数据组件

Ambari介绍1Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应.管理和监控.Ambari已支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Pig. Hbase.Zookeper.Sqoop和Hcatalog等. Apache Ambari 支持HDFS.MapReduce.Hive.Pig.Hbase.Zookeper.Sqoop和Hcatalog等的集中管理.也是5个顶级hadoop管理工具之一. 建议需对hadoop生态圈…

基于Ambari构建自己的大数据平台产品

目前市场上常见的企业级大数据平台型的产品主流的有两个,一个是Cloudera公司推出的CDH,一个是Hortonworks公司推出的一套HDP,其中HDP是以开源的Ambari作为一个管理监控工具,CDH对应的是Cloudera Manager,国内也有像星环这种公司专门做大数据平台.我们公司最初是使用CDH的环境,近日领导找到我让我基于Ambari做一个公司自己的数据平台产品.最初接到这个任务我是拒绝的,因为已经有了很完善很成熟的数据平台产品,小公司做这个东西在我看来是浪费人力物力且起步太晚.…

MySQL基于域名做高可用切换（Consul初试）

一,Consul功能介绍服务发现 - Consul的客户端可用提供一个服务,比如 api 或者mysql ,另外一些客户端可用使用Consul去发现一个指定服务的提供者.通过DNS或者HTTP应用程序可用很容易的找到他所依赖的服务. 健康检查 - Consul客户端可用提供任意数量的健康检查,指定一个服务(比如:webserver是否返回了200 OK 状态码)或者使用本地节点(比如:内存使用是否大于90%). 这个信息可由operator用来监视集群的健康.被服务发现组件用来避免将流量发送到…

基于Hadoop生态SparkStreaming的大数据实时流处理平台的搭建

随着公司业务发展,对大数据的获取和实时处理的要求就会越来越高,日志处理.用户行为分析.场景业务分析等等,传统的写日志方式根本满足不了业务的实时处理需求,所以本人准备开始着手改造原系统中的数据处理方式,重新搭建一个实时流处理平台,主要是基于hadoop生态,利用Kafka作为中转,SparkStreaming框架实时获取数据并清洗,将结果多维度的存储进HBase数据库. 整个平台大致的框架如下: 操作系统:Centos7 用到的框架: 1. Flume1.8.0 2. Hadoop2.9.0 3.…