将GitLab数据库从阿里云PostgreSQL RDS迁移至自建的PostgreSQL服务器

阿里云RDS目前支持的是PostgreSQL 9.4,而gitlab支持的最低版本是PostgreSQL 9.6.1,不升级PostgreSQL,gitlab就无法升级,阿里云RDS短期内不进行升级,被迫无奈下只能改用自己用阿里云ECS搭建的PostgreSQL服务器.这篇随笔记录一下数据库迁移的主要步骤. 在ubuntu时安装好PostgreSQL之后,首先进入 /etc/postgresql/9.6/main 修改2个配置文件: postgresql.conf listen_addresse…

将GitLab的数据库导入阿里云PostgreSQL RDS

GitLab的数据库用的是PostgreSQL,之前由于阿里云RDS不支持PostgreSQL,只能将GitLab的数据库部署在云服务器上. 6月1日得知阿里云推出了PostgreSQL RDS,于是立马将GitLab的数据库迁移至PostgreSQL RDS. 下面分享一下迁移的主要操作步骤: 1)在GitLab服务器上备份GitLab数据库操作命令: sudo gitlab-rake gitlab:backup:create SKIP=db 注:这个命令原本是只备份数据库,但实际运行时也会…

将云数据库MongoDB(阿里云)物理备份文件下载恢复至本地自建数据库遇到的5个问题

有时候我们可能需要将云上数据库下载到本地,下面是我们在操作MongoDB数据库时遇到的五个小问题. 其实现在RDS的帮助文档写的都比较详细了,大家在第一次操作时,可以细读一下,避免一些不必要的问题. Problem 1 通过wget命令下载云MongoDB物理备份文件时,url 中间有特殊字符&,需要把url放在‘’(单引号中). 否则报错; [] [] []+ Done Expires= .................................................…

洞见数据库前沿阿里云数据库最强阵容 DTCC 2019 八大亮点抢先看

摘要: 作为DTCC的老朋友和全球领先的云计算厂商,阿里云数据库团队受邀参加本次技术盛会,不仅将派出重量级嘉宾阵容,还会为广大数据库业内人士和行业用户奉上8场精彩议题.下面小编就为大家提前梳理了8大亮点,并附上阿里云议题全集,精彩一网打尽. 2019年5月8日-5月10日,由国内知名IT技术社区主办的数据库技术交流盛会——DTCC 2019将在北京新云南皇冠假日大酒店召开.数据风云,十年变迁,DTCC见证并铭记了国内数据库技术的关键成长历程.作为DTCC的老朋友和全球领先的云计算厂商,阿里云数据…

Linux（CentOS7）设置自动备份数据库到阿里云OSS

环境:阿里云服务器CentOS7.4 + MySQL5.6 基本思路: 1.编写shell脚本,备份数据库到指定目录下 2.编写Python脚本,把文件上传到OSS 3.把shell脚本和Python脚本添加Linux的crontab定时器,设置定时执行首先,环境要配置好,Python环境,centos 7 自带Python,一般可以直接使用查看Python版本:python -V 在创建一个目录/opt/backMySQL/xxx,在目录/opt/backMySQL下编写一个shell脚本…

再不懂时序就 OUT 啦！，DBengine 排名第一时序数据库，阿里云数据库 InfluxDB 正式商业化！

云数据库 InfluxDB® 版介绍阿里云数据库 InfluxDB® 版已于近日正式启动商业化 . 云数据库 InfluxDB® 是基于当前最流行的开源数据库 InfluxDB 提供的在线数据库服务,相比较开源具有免运维,稳定可靠,可弹性伸缩的优势,广泛应用于互联网基础资源监控,容器监控,业务运营监控分析,物联网设备远程实时监控,工业安全生产监控,生产质量评估和故障回溯.提供时序数据自动化采集,压缩存储,类SQL查询,多维聚合计算和数据可视化分析能力.点击关注,InfluxDB 商业化活动时…

阿里云的RDS 查看binlog日志的方法

按时间点反后台备份的binlog日志从阿里云导出来,然后用mysqlbinlog查看日志内容: # mysqlbinlog -vv --base64-output=decode-rows mysql-bin. >mysql-bin..txt 把二进制日志转化成为文本…

在阿里云主机上基于CentOS用vsftpd搭建FTP服务器

最近需要在一台阿里云的云服务器上搭建FTP服务器,在这篇博文中分享一下我们根据实际需求进行的一些配置. ftp软件用的是vsftpd. vsftpd是一款在Linux发行版中最受推崇的FTP服务器程序.特点是小巧轻快,安全易用. vsftpd 的名字代表"very secure FTP daemon",安全是它的开发者 Chris Evans 考虑的首要问题之一.在这个 FTP 服务器设计开发的最开始的时候,高安全性就是一个目标. 准备工作安装vsftpd yum install v…

阿里云ecs初始化磁盘后远程连接不到服务器

阿里云初始化磁盘后远程连接不到服务器报错: WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! ... 原因:阿里云ecs第一次链接服务器之后会在本地电脑存储一个公钥,当ecs服务器初始化之后ecs公钥变化,本机无法再次链接,终端ssh name@....也不会出现输入密码提示.解决: cd .ssh vim known_hosts 删除known_hosts文件中所链接服务器公钥即可.…

【小技巧解决大问题】使用 frp 突破阿里云主机无弹性公网 IP 不能用作 Web 服务器的限制

背景今年 8 月份左右,打折价买了一个阿里云主机,比平常便宜了 2000 多块.买了之后,本想作为一个博客网站的,毕竟国内的服务器访问肯定快一些.满心欢喜的下单之后,却发现 http 服务,外网怎么也无法访问.各种搜,最终在文档中,终于看见:必须要买弹性公网 IP,并且绑定到阿里云主机上,才可以用作web服务器.而且要求,阿里云主机必须是未绑定过 IP 的.不过很不幸,我当时下单时,已经勾选了使用公网IP.本来想着解绑然后重新绑定下,应该就可以了.然而,已经绑定过公网IP的,是不允许再改绑弹性…

阿里云域名的ssl证书申请与腾讯服务器域名的证书安装

阿里云域名中的SSL证书申请,腾讯云服务器中的证书安装: 因为公司的与域名都在阿里云上面,服务器却用的是腾讯云的.记得前2年用阿里云管理平台的时候,域名的SSL证书都很好找,也许是长时间不用,找SSL证书的下载位置找的自己郁闷,索性,记录到日志里面,方面自己下次直接翻,也方便搜索到这片日志的人吧! 1.首先,登录阿里云,扫码登录或者输入账号跟密码都可以的.然后在控制台中选择域名服务,进入域名管理二级目录.如下图.点击,进入域名解析列表点击,域名解析列表后,如下图所示,在域名解析列表中,我们就能…

阿里云NAS文件迁移项目实践

阿里云文件存储NAS是阿里云推出的用于传统文件共享的,使用NFS协议挂载的共享文件夹. 产品背景下图是NAS和阿里云另一明星产品OSS以及块存储EBS的区别 NAS核心优势:无需修改程序,挂载之后,可以像使用普通操作系统共享文件夹一样使用.即访问NAS和访问本地文件系统操作一致. 需求场景产品类型:极速型NAS 使用量:400GiB 文件数:大约21万个目的:执行迁移任务,将全部文件迁移到阿里云其它VPC内的NAS 项目实践 1. 准备工作在正式开始之前,需要确保迁移双方的网络互通,本项…

如何将阿里云mysql RDS备份文件恢复到自建数据库

参考地址:https://help.aliyun.com/knowledge_detail/41817.html PS:目前恢复只支持 Linux 下进行.Linux下恢复的数据文件,无论 Windows.Linux 操作系统,MySQL 都可以正常使用 1.概述和软件说明 1.1 概述 RDS MySQL 使用开源软件 percona-Xtrabackup 对 MySQL 数据库进行备份.需要下载该软件,然后使用该软件进行恢复. 1.2 软件说明 1.2.1 解压软件 a) RDS的备份文件…

Swoole一键操作基于阿里云的RDS数据库迁移+OSS文件搬迁

传统的数据库搬迁思路是把数据库表的结构及数据都查询出来,然后通过循环进行数据结构重组拼接.然后导出!数据量少的话,这样当然是没毛病.当数据量太大的时候,服务器的内存开销就吃不住了,很容易炸掉,导致服务器瘫掉.当然我之前也这么干的 ,所以也一直想办法解决这个问题 ,当你体会到大数据搬迁的那酸爽.提心吊胆你就明白了一天我看到一条sql SELECT COUNT( * ) as cnt FROM information_schema.TABLES WHERE TABLE_SCHEMA = 旧数据库…

阿里云监控RDS

RDS性能监控API https://help.aliyun.com/document_detail/26280.html?spm=a2c4g.11186623.6.1576.341d7159uzLDFm 支持的性能参数列表 https://help.aliyun.com/document_detail/26316.html?spm=a2c4g.11186623.4.2.309e8f650WZdOJ 云监控之RDS https://help.aliyun.com/document_detail/…

阿里云产品介绍（三）：云数据库RDS

写完云服务器ECS,本来想先写负载均衡的. 因为发现很多客户,都是直接将单台云服务器应用对外提供访问,如果云服务器宕机,应用就会停止服务.云服务器标称有99.95%的可用率,一年下来宕机四个多小时也是正常的.要想提升应用的可用率,就需要多台云服务器(至少两台,最好分布式两个不同的可用区),然后利用负载均衡将流量按一定规则导向后端的云服务器应用集群. 但这一篇还是决定先写写云数据库RDS,云数据库RDS有好几个曾用名.最早的名字就是RDS(阿里云的产品,大部分在命名的时候故意和亚马逊有一点微小的差…

烂泥：阿里云RDS本地恢复数据

本文由ilanniweb提供友情赞助,首发于烂泥行天下想要获得更多的文章,可以关注我的微信ilanniweb 公司目前使用的数据库是阿里云的RDS,目前RDS的版本为mysql5.6.如下: 现在要求把RDS的数据,在公司内部本地进行恢复. 如何把RDS在本地进行恢复呢?这个阿里云官网给出了相关的操作教程,连接如下:<RDS备份文件恢复到自建数据库>. 看了官网的教程,感觉很是麻烦,而且也有几个比较特殊的地方没有点出来,下面是我对RDS本地恢复的步骤. 一.安装mysql数据库在进行RDS…

50倍时空算力提升，阿里云RDS PostgreSQL GPU版本上线

2019年3月19日,阿里云RDS PostgreSQL数据库GPU规格版本正式上线,开启了RDS异构计算并行加速之路.该版本在RDS(关系型数据库服务)的云基础设施层面首次完成了与阿里云异构计算产品的适配,实现了PostgreSQL时空引擎Ganos在空间图形图像处理上的并行计算加速,成为国内第一个将GPU应用于商业空间信息领域的数据库. 1. GPU并行计算 GPU(Graphic Processing Unit)是一种高并行架构图形处理器,其最突出的特点就是计算核心多,相比传统CPU四个.…

阿里云rds mysql数据库数据恢复到ecs中

背景:aliyun上的rds数据库快满了,于是删除了某个备份的表后面大boss说是有用的表,需要恢复回来,阿里云有7天内的物理全量备份(通过percona-xtrabackup备份的)第一时间应该延长备份时间(默认保留7天,可以配置15天或更长避免在恢复过程中被阿里云的rds删除) 准备:数据库大概有700G左右,物理备份文件100G左右,恢复回来需要占用大概1多T的空间,于是在现有同样区域的ecs上挂载一块2T的磁盘用来做恢复整体的过程是:在相同地域的ecs安装好mysql,恢复到上面,然后…

gitlab安装、配置与阿里云产品集成

https://www.ilanni.com/?p=12819 一.gitlab安装与部署 gitlab的安装可以分为源码安装和通过安装包进行安装,要是按照我以前的写作习惯的话,我也会把源码安装在本文章中提现,但是考虑到gitlab本身需要集成的软件比较多,所以在此我们选择的是通过安装包进行安装的. gitlab通过安装包安装很简单的,我们只需要下载对应的RPM包,进行安装即可. 因为本次实验的OS是centos7,所以我们直接从官网下载对应的RPM包即可,如下: https://www.git…

【IT名人堂】何云飞：阿里云数据库的架构演进之路

[IT名人堂]何云飞:阿里云数据库的架构演进之路原文转载自:IT168 如果说淘宝革了零售的命,那么DT革了企业IT消费的命.在阿里巴巴看来,DT时代,企业IT消费的模式变成了“云服务+数据”,阿里云将打造一个像淘宝电商一样多方共赢的云生态.而作为阿里云庞大帝国的重要成员,阿里云RDS为社交网站.电子商务网站.手机App提供了可靠的数据存储服务.好的架构不是设计出来的,而是演化出来的,那么RDS经历了怎样的架构演进?本期名人堂我们邀请到了阿里云RDS首席产品架构师何云飞,为我们揭秘RDS的…

阿里云rds实例恢复到本地

摘要: 前提: 1,阿里云数据库备份实例,恢复数据的时候需要将数据恢复到本地数据库,是不能直接恢复到RDS上的. 2,需要在本地服务器上下载一个数据库,尽量和RDS数据库版本保持一致.(我现在用的是5.6的版本) 3,这里需要用到xtrabakcup工具进行数据恢复如下是所有的操作: 1,下载5.6版本的数据库 cd /usr/local/src/ wget http://mirrors.sohu.com/mysql/MySQL-5.6/mysql-5.6.36-linux-glibc…

阿里云rds 备份和还原

阿里云rds 备份和还原转发:https://www.cnblogs.com/lin1/p/8617764.html 转发:https://help.aliyun.com/knowledge_detail/41817.html 1.阿里云数据库备份实例,恢复数据的时候需要将数据恢复到本地数据库,是不能直接恢复到RDS上的. 2.需要在本地服务器上下载一个数据库,尽量和RDS数据库版本保持一致.(我现在用的是5.6的版本) 3.这里需要用到xtrabakcup工具进行数据恢复 1,下载5.6版本…

Navicat 连接阿里云RDS

背景: Navicat 是一个非常优秀与易用的数据库可视化管理软件,相信很多人都用过.这次服务器升级,数据库用了阿里云的RDS,阿里云自带的数据库管理面板功能有限,用不习惯.所以还是想着用 Navicat 来管理. 为了安全 RDS 默认是不能用外网访问的,我们也不应该随便开启这个功能.这里可以使用 Navicat 的 SSH 功能.先通过 SSH 连接到某个ECS,然后再通过该服务器连接RDS数据库,相当于用服务器做跳板. 连接在堡垒机中安装Navicat,新建一个连接,首先切换到 SSH…

阿里云更懂你的数据库，免费提供DBA服务

阿里云更懂你的数据库,免费提供DBA服务阿里云云数据库(RDS)管理控制台近期将全面升级为云数据库管家.云数据库管家的使命是提供便捷的操作.贴心的服务.专业的处理建议,帮助用户管理好云数据库. 阿里云数据库(RDS)正在免费体验中,也欢迎各位试用. 点此免费体验>> http://click.aliyun.com/m/704/ 云数据库管家到底是何方神圣? -- 他总是默默的服务,每分钟不间断监管着你的数据库运行状态: -- 他会利用大数据去思考:你的数据库需要做什么: -- 他会主动引…

阿里云RDS外网无法访问解决办法

为了安全起见,阿里云的RDS数据库设置只能内网连接,那么为了方便查询数据,我每次都去连接内网服务器远程桌面. 这次我因为网络问题,远程桌面非常不稳定,一会掉线一会掉线,只能另想办法. 同事那里有个批处理程序可以映射端口,拿过来用了. netsh interface portproxy add v4tov4 listenport=映射端口 connectaddress=RDS服务器IP connectport=端口在服务器上运行,我在本地SQLSERVER直接可以连接这台远程服务器,就可以顺利连…

我和阿里云RDS的故事

于阿里云的RDS性能无法满足我们公司系统的要求,数据库偶尔出现莫名的查询慢(索引等做了全面优化)经过好多次投诉,情况还是没有改善.由于是类金融的系统,对这种情况是不能接受的.相信系统数据有5G以上有人遇到过问题.好吧,准备迁移到物理上面,选用了一家上海互联网应用服务提供商的物理机(16核CPU,32G内存,120G固态硬盘),经过整夜软件安装,安全配置(安全得做好啊,一出问题可能损失几十万,不敢马虎),第二天成功上线,稳稳的运行了15天,暗自开心了几天,以后再也不用为数据库的问题烦恼了. 到了运…