概述 越来越多的企业选择上云,最基础的云服务就是IaaS(Infrastructure as a Service)服务,直观理解就是虚拟主机,用户不用再自建机房,自己购买服务器,而是直接向云厂商购买虚拟主机服务ECS(Elastic Compute Service),按时按量付费.对于数据库而言,将数据库能力集成进来,就是DaaS(Database as a Service)服务,我这里主要讨论RDS(Relational Database Service).因为目前主流云厂商在数据库领域,除了…

本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展.最后我们将介绍如何结合云上存储.计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景. 大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统结合VaR(value at risk)或者机器学习方案进行信贷风控,零售.餐饮行业需要大数据系统实现辅助销售决策,各种IOT场景需要大数据系统持续聚合和分析时序数据,各大科技公司需要建立大数据分析中台等等…

开宗明义,你不应该在阿里云上使用自建的MySQL or SQL Server数据库,对了,还有Oracle or PostgreSQL数据库. 云数据库 RDS(Relational Database Service)是一种稳定可靠.可弹性伸缩的在线数据库服务.基于飞天分布式系统和全SSD盘高性能存储,支持MySQL.SQL Server.PostgreSQL和PPAS(高度兼容Oracle)引擎,默认部署主备架构且提供了容灾.备份.恢复.监控.迁移等方面的全套解决方案. 当然,并不是指所有用户…

最近发现阿里云RDS管理控制台升级了,界面更好看了,操作也更方便了,但在美丽的外表下却藏着坑,不小心被我们睬着了. 8月31日下午,我们在RDS管理控制台中创建了一个新的数据库帐号,创建时选择了绑定多个数据库. 然后,这个新建帐户的状态显示为“创建中”,这时该新建帐户可以登录,但不能访问任何数据库. 过了2分多钟,帐户状态由“创建中”变为“激活”后,才可以正常访问所绑定的数据库. 之前我们很久没有在RDS进行帐户管理操作了,今天这样一个如此简单.如此常用的操作,我们根本没想到会出问题. 结果却在…

风雨之后是彩虹,经历了三个月的风雨之后,从6月14日起(上次故障发生于6月13日)开始享受彩虹...而今天突袭而来的RDS故障让我们懂得了彩虹期间会有阵雨,但不管怎么样,离“晴空万里”越来越近了. 2013年7月23日10:00~11:00左右,我们使用的阿里云RDS(关系型数据库服务)突然出现故障,造成了网站不能访问(大家访问时遇到的502错误就是故障的表现).由此给大家带来了很大的麻烦,我们深表歉意!望大家谅解! 这次502故障发生时,我们先从服务器上的错误日志下手,一下子将故障的引发点逮个…

最近遇到了奇怪的阿里云 RDS 数据库突发 CPU 近 100% 问题,遇到了3次. 第一次是10月12日(周六)凌晨 3:24 负载极低的时候开始出现,早上发现后进行了主备切换,恢复了正常. 第二次也是出现在10月12日,就在主备切换后不久,发现后又进行了主备切换,切换回之前出问题的服务器,恢复了正常. 第三次是昨天(10月18日)23:15 开始出现,今天早上(也是周六)发现后,再次通过主备切换恢复了正常. 阿里云 RDS 型号用的是 SQL Server 2016 标准版,是9月份从 SQ…

背景 一面数据创立于 2014 年,是一家领先的数据智能解决方案提供商,通过解读来自电商平台和社交媒体渠道的海量数据,提供实时.全面的数据洞察.长期服务全球快消巨头(宝洁.联合利华.玛氏等),获得行业广泛认可.公司与阿里.京东.字节合作共建多个项目,旗下知乎数据专栏"数据冰山"拥有超30万粉丝.一面所属艾盛集团(Ascential)在伦敦证券交易所上市,在 120 多个国家为客户提供本地化专业服务. 公司在 2016 年线下机房部署了 CDH 集群,到 2021 年已存储和处理 PB…

写完云服务器ECS,本来想先写负载均衡的. 因为发现很多客户,都是直接将单台云服务器应用对外提供访问,如果云服务器宕机,应用就会停止服务.云服务器标称有99.95%的可用率,一年下来宕机四个多小时也是正常的.要想提升应用的可用率,就需要多台云服务器(至少两台,最好分布式两个不同的可用区),然后利用负载均衡将流量按一定规则导向后端的云服务器应用集群. 但这一篇还是决定先写写云数据库RDS,云数据库RDS有好几个曾用名.最早的名字就是RDS(阿里云的产品,大部分在命名的时候故意和亚马逊有一点微小的差…

[IT名人堂]何云飞:阿里云数据库的架构演进之路 原文转载自:IT168 ​ 如果说淘宝革了零售的命,那么DT革了企业IT消费的命.在阿里巴巴看来,DT时代,企业IT消费的模式变成了“云服务+数据”,阿里云将打造一个像淘宝电商一样多方共赢的云生态.而作为阿里云庞大帝国的重要成员,阿里云RDS为社交网站.电子商务网站.手机App提供了可靠的数据存储服务.好的架构不是设计出来的,而是演化出来的,那么RDS经历了怎样的架构演进?本期名人堂我们邀请到了阿里云RDS首席产品架构师何云飞,为我们揭秘RDS的…

「一切都会运行在云端」. 云时代早已来临,本文着眼于顶级云服务商云服务商的云数据库方案背后的架构,以及笔者最近观察到的一些对于云数据库有意义的工业界的相关技术的进展,希望读者能有所收获. 现在越来越多的业务从自己维护基础设施转移到公有(或者私有)云上, 带来的好处也是无需赘述的,极大降低了 IaaS 层的运维成本,对于数据库层面来说的,以往需要很强的 DBA 背景才能搞定弹性扩容高可用什么的高级动作,现在大多数云服务基本都或多或少提供了类似的服务. Amazon RDS   其实说到公有云上的云…

云数据库PPAS版,是阿里云与EnterpriseDB公司合作基于PostgreSQL高度兼容Oracle语法的数据库服务,为用户提供易于操作的迁移工具,兼容范围涵盖:PL/SQL.数据类型.高级函数.表分区等. 优点 高度兼容兼容Oracle数据类型.PL/SQL比迁移其他数据库降低90%工作量 自动化部署5分钟完成所有部署配置全自动化处理避免人为失误 同城容灾HA企业级架构全双冗余保障同城双中心,同等价格加倍安全 成本优化降低数据库成本,原Oracle DBA及开发人员无需大量学习,降低迁移…

数据库是企业IT系统的核心,其性能表现会直接影响整体业务系统的性能表现,而影响数据库性能因素包括系统架构设计.应用程序业务SQL语句.数据库参数优化配置.数据库运行的资源能力.系统架构设计和应用程序业务SQL语句都属于数据库外围,需要从整体业务上去设计优化:数据库的参数配置,核心是要根据数据库上的业务和硬件特点细调参数,丰富的DBA经验对此项影响很大,归属于软件配置内容且随时可调整.数据库的硬件资源,在传统企业中属于一项固定资产投资,前期投资成本高,后期更换成本更高,云时代虽然能够随时扩容硬件资…

iPhone6发布那年,京东在国贸等商圈送货最快速度数分钟,包括从下单到送达.这是一个极端的富含营销因素例子.即便如此,常态来看,隔天到货的这种业务模式,也是基于同样的支撑:营销业务.物流业务,大数据业务,数据平台和数据. 京东云在集团中担负着对外助力企业发展的责任.因为京东云的整体产品线确实特别丰富,因此呢,我今天特别把比较有代表性的数据体系提出来,管中窥豹. 希望在有限的篇幅内,围绕着数据生态,跟大家进行以下话题的交流:京东数据生态的主要涉及的范围有哪些?为什么京东数据生态可以主力企业架构的…

1 摘要 本文介绍了为什么在一个好的公有云或私有云中必须要有一个编排系统来支持云上自动化,以及实现这个编排系统的困难和各家的努力.同时提供了一套实现编排系统的原型,它包括了理论分析及主体插件框架,还给出一些细节控制的建议.希望有助于大家对“资源编排&应用编排”概念有更深的了解,也希望以开放的心态与大家一起努力,使得云真的像水电一样自然和普及. 2 为什么需要云上自动化 IT领域的自动化要求无需多言,每个程序员都知道这是必须品.自动化脚本,自动化测试,自动化部署等等,都是为了程序及围绕此程序的各类…

1. 摘要 为了让大家更好的了解各云厂商在RDS MySQL数据库功能上的差异,也为给准备上云的同学做个参考,本文将对阿里云.腾讯云.华为云和AWS 的 RDS MySQL数据库进行对比说明. 从一个数据库运维者的角度来看,如果要上云,需要关注的数据库指标有:基础资源.架构.功能.安全.性能.价格等各方面,本文就针对这些(除性能外)展开说明. 说明:本文有一定的时效性,内容基于各云厂商四月份的数据.价格.功能变化比较快,可能看到文章的时候,和写文章的时候某些结论已经有所不同. 具体的信息可以看:…

当我们使用VS发布一个Cloud Service或者在Portal上上传发布包后,就能启动和运行一个云服务,可以保护WebRole,WorkerRole的一个或者多个实例. Windows Azure是怎么实现这一个过程的呢?要了解这个过程,需要首先了解Windows Azure 的云服务角色架构. 总的来说可以用下面一张图来概括,非常经典的一张图,很多问题都可以在这张图上得到答案.Windows Azure 这些年不断更新,对于这张图来说基本没有变化. 首先对这张图上的名称做解释: A. RD…

在大数据时代,数据规模变得越来越大.由于数据的增长速度和非结构化的特性,常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集.管理和处理.本文主要介绍如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统,以及这个过程中主要遭遇的一些挑战.实践主要立足建立一套汽车状态实时监控系统,可以在阿里云上立即进行部署. 实时大数据处理利器——Storm和Kafka 大数据时代,随着可获取数据的渠道增多,比如常见的电子商务.网络.传感器的数据流.太空数据等,数据规模也变得越来越大…

版权声明:本文由李斯达原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/255 来源:腾云阁 https://www.qcloud.com/community 作者介绍:李斯达,微软最具价值专家.认证讲师.无界工程师.场景式学习倡导者,曾在阿里O2O仓储解决方案公司担任系统架构师一职,目前就职于互联网企业担任系统运维工程师,致力于IT改善生活的实践之路. 正文: 接上篇在腾讯云上创建您的SQL Cluster(3)和在腾讯…

版权声明:本文由李斯达原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/250 来源:腾云阁 https://www.qcloud.com/community 在上两篇文章 腾讯云上创建您的SQL Cluster(1) 和 腾讯云上创建您的SQL Cluster(2) 的文章中我们介绍了如何在QCloud标准化的搭建一套域环境,并介绍了如何在生产过程中如何避免一些坑,今天,我们来介绍此次demo中的另外一个角色--共享存储…

基于Hadoop开发网络云盘系统架构设计方案第一稿 引言 云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度.新浪.网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统,方案为初步设计方案,不断完善中. 一.总体架构 二.方案说明 2.1 系统切分 从用户角度,整个系统划分为ECDisk客户端.ECDisk运营管理平台.HDFS分布式文件存储集群和账户数据应用平台四部分. 2.2 功能需求 文件管理:浏览.文件上传.文件下载.文件删除 用户管理:用户…

欢迎大家关注腾讯云技术社区-博客园官方主页,我们将持续在博客园为大家推荐技术精品文章哦~ 作者:崔庆才 前言 在上一节我们学习了PhantomJS 的基本用法,归根结底它是一个没有界面的浏览器,而且运行的是 JavaScript 脚本,然而这就能写爬虫了吗?这又和Python有什么关系?说好的Python爬虫呢?库都学完了你给我看这个?客官别急,接下来我们介绍的这个工具,统统解决掉你的疑惑. 简介 Selenium 是什么?一句话,自动化测试工具.它支持各种浏览器,包括 Chrome,Safar…

摘要: 从用户的声音中,我们听到用户对稳定.弹性.透明的诉求,我们也在不断升级ECS的运维能力和体验,助力用户建立主动运维体系,赋能业务永续运行.为了让大家更好的了解和用好ECS弹性计算服务,从本期开始,我们会以专栏的形式不断更新ECS运维方面的内容,也欢迎大家多提宝贵建议和意见,帮助我们打造更好的弹性计算服务. 阿里云经过9年多的发展,成长为中国第一全球前三的云服务提供商,为上百万用户提供IT基础设施云服务.这些用户几乎都会使用ECS弹性计算服务,这其中既有面向消费者(to C).企业(to…

阿里云RDS目前支持的是PostgreSQL 9.4,而gitlab支持的最低版本是PostgreSQL 9.6.1,不升级PostgreSQL,gitlab就无法升级,阿里云RDS短期内不进行升级,被迫无奈下只能改用自己用阿里云ECS搭建的PostgreSQL服务器.这篇随笔记录一下数据库迁移的主要步骤. 在ubuntu时安装好PostgreSQL之后,首先进入 /etc/postgresql/9.6/main 修改2个配置文件: postgresql.conf listen_addresse…

本文主要内容大部分来源于SAP已经发布的note:  2552731 - SAP Applications on Alibaba Cloud: Supported Products and IaaS VM Types. 到2018/01/19为止这个note只有英文版(另一个日文版是机器翻译的).将来原始的note可能会被SAP负责这个note的同事继续更新,届时本文内容可能会同原始的note有所差异. 您可以通过点击文末的"阅读原文"来查看原始英文版的note. 阿里云上提供的基础设…

2016.5.13,北京,第七届数据库技术大会. 从最初的itpub社区,到后来被it168收购,DBA社区的线下聚会发展成2010年第一届数据库技术大会(DTCC).第一届大会汇聚了社区内活跃的各位DBA大神们,星光灿烂.我当时也在会上分享了淘宝DBA团队在数据库监控产品方面做的一些努力. 七年过去,数据库技术大会上Oracle相关议题的比例明显下降,MySQL/PostgreSQL/NoSQL/大数据等百花齐放.然而Oracle在第一天宣布说在中国的市场占有率依然有56%,还是有众多企业客户…

鬼扯完“去IOE”,继续回来说说这个系列文章的主角Oracle. 在DB-Engine的数据库排行榜中,Oracle已经占据了多年的第一(最新排名可以点击“阅读原文”).当然因为互联网行业的兴起,MySQL已经攀升到第二位,并且和Oracle的差距在逐渐缩小.未来随着云计算的发展,可以预期有一天MySQL会最终登顶. 但这是总体的排名,如果抛去互联网行业,单独来看传统企业,则Oracle的优势地位还非常明显.传统企业的IT投入是一个巨大的市场,云计算要继续发展,除了吸引互联网企业,一定会把边界扩…

从上一篇文章的反馈来看,大家还是喜欢八卦多过技术细节,那这一篇继续一些题外话,说说我对“去IOE”的看法. 对同一件事情,参与的没参与的人,讨论起来,都会有各自的立场.所以这里先申明一下,以下内容只是我个人的观点,与任何公司及组织及其他个人皆无关:限于个人记忆力,部分细节可能有出入,如有差错,纯属年老失忆. 淘宝当年从单个Java应用到服务化后的垂直分库,再到水平分库,一步一步走过来,每一步皆有其必然性.但从传播性和话题性上来讲,“淘宝技术架构升级”,显然不如“去IOE”这种标签化的短语有力量,…

2003年毕业那年正好遇上非典,好不容易找到一份制造工厂的工作,凭着一点点的SQL基础进入了IT部门,在那里第一次听说了Oracle.在此之前,我对数据库的认知基本还停留在Access阶段,耳闻过一点SQL Server,据说那才是真正的数据库.然而研究了一段时间Oracle之后,就被其丰富的特性和完整的文档所吸引,决定把今后十年的职业生涯赌在Oracle DBA这个方向上. 在工作的前几年,辗转广东上海几家公司,都没有多少机会在生产环境中接触Oracle,全凭着个人爱好在业余时间折腾,也逐渐在…

(上图是今天出问题期间Web服务器性能监控图,紫色表示的是Request Execution Time) 昨天我们发布了一篇博客分享了我们这两天遇到的OCS(开放缓存服务)问题,详见云计算之路-阿里云上:愚人节被阿里云OCS愚. 后来,阿里云确认了问题的原因:在OCS升级过程中造成了写入的缓存数据过期时间丢失,只需删除这些有问题的缓存数据就不会再出现这个问题. 今天一大早访问低峰的时候,我们进行了清空OCS实例缓存的操作,解决了OCS缓存不能过期的问题. 今天中午11:30左右,园子访问速度突然…

今天是愚人节,而我们却被阿里云OCS愚,很多地方的缓存一直不过期,造成很多页面中的数据一直不更新.这篇博文将向您分享我们这两天遇到的OCS问题. 阿里云OCS(Open Cache Service)是阿里云提供的开放缓存服务,简单来说就是一个巨大的memcached.我们是从2013年12月12日开始使用阿里云OCS的(详见云计算之路-阿里云上:用上了开放缓存服务OCS).OCS是保证网站性能的最重要的功臣之一,而随着网站访问量的快速增长,OCS更加举足轻重.曾经有一个周末,我们因为清空了OCS…