MySQL互联网业务使用建议】的更多相关文章

一.基础规范 表存储引擎必须使用InnoDB 表字符集默认使用utf8,必要时候使用utf8mb4 解读: (1)通用,无乱码风险,汉字3字节,英文1字节 (2)utf8mb4是utf8的超集,有存储4字节例如表情符号时,使用它 禁止使用存储过程,视图,触发器,Event 解读: (1)对数据库性能影响较大,互联网业务,能让站点层和服务层干的事情,不要交到数据库层 (2)调试,排错,迁移都比较困难,扩展性较差 禁止在数据库中存储大文件,例如照片,可以将大文件存储在对象存储系统,数据库中存储路径…
引言:十年沉淀.全球宽表排名第一.阿里云首发云Cassandra服务 ApsaraDB for Cassandra是基于开源Apache Cassandra,融合阿里云数据库DBaaS能力的分布式NoSQL数据库.Cassandra已有10年+的沉淀,基于Amazon DynamoDB的分布式设计和 Google Bigtable 的数据模型.具备诸多优异特性:采用分布式架构.无中心.支持多活.弹性可扩展.高可用.容错.一致性可调.提供类SQL查询语言CQL等.Cassandra为互联网业务而生…
今天一个朋友向我咨询怎么去优化 MySQL,我按着思维整理了一下,大概粗的可以分为21个方向. 还有一些细节东西(table cache, 表设计,索引设计,程序端缓存之类的)先不列了,对一个系统,初期能把下面做完也是一个不错的系统. 1. 要确保有足够的内存 数据库能够高效的运行,最关建的因素需要内存足更大了,能缓存住数据,更新也可以在内存先完成.但不同的业务对内存需要强度不一样,一推荐内存要占到数据的15-25%的比例,特别的热的数据,内存基本要达到数据库的80%大小. 2. 需要更多更快的…
现今,技术引领的商业变革已无缝渗透入我们的日常生活,「技术改变生活」的开发者们被推向了创新浪潮的顶端.国内知名的开发者技术社区 SegmentFault 至今已有四年多了,自技术问答开始,他们已经发展成为一个问答.专栏.笔记.头条以及线下活动等多产品线的技术交流平台.到目前为止,SegmentFault 已成功举办 40 多场技术沙龙,让 13 座城市的 5000 多位活跃开发者积极参与其中.今年,更是开启 SFDC (SegmentFault Developer Conference) 开发者…
业务运维并不是一个新概念,针对传统信息架构提出的业务服务管理就是把以业务为核心的IT系统与IT基础设施性能进行整合运维的解决方案.然而随着互联网+转型的不断推进,基础设施的智能化和广泛云化成为IT发展的"新常态",只关注IT基础设施.系统与应用软件的稳定性与性能状况的传统运维手段,越来越难以满足企业业务高速发展的需求. 互联网+时代的业务运维是IT运维与互联网深度融合的产物,是运维管理在云计算.大数据技术推动下的必然结果.业务运维是以用户体验为核心,以业务价值为导向,严格遵循业务运维监…
HDFS 与 Hbase HDFS容错率很高,即便是在系统崩溃的情况下,也能够在节点之间快速传输数据.HBase是非关系数据库,是开源的Not-Only-SQL数据库,它的运行建立在Hadoop上.HBase依赖于CAP定理(Consistency, Availability, and Partition Tolerance)中的CP项.HDFS最适于执行批次分析.然而,它最大的缺点是无法执行实时分析,而实时分析是信息科技行业的标配.HBase能够处理大规模数据,它不适于批次分析,但它可以向Ha…
系列目录: [Docker] CentOS7 安装 Docker 及其使用方法 ( 一 ) [Docker] 使用Docker 在阿里云 Centos7 部署 MySQL 和 Redis (二) [Docker] .Net Core 3.1 webapi 集成EF Code First,使用MySql进行业务操作 .配置swagger (三) .......持续不定期更新中 之前一直用.Net Core 2.1 ,发现3.1后有很多地方和原来的操作不同,踩了一些坑,所以记录一下3.1的操作方法…
背景 “那啥,你过来一下!” “怎么了?我代码都单元测试了的,没出问题啊!”我一脸懵逼跑到运维大佬旁边. “你看看!你看看!多少条报警,赶快优化一下!”运维大佬短信列表里面好多MySQL CPU 100%报警短信.再看看项目名称不就是我前几天刚发布的项目吗!? 我心底一沉,赶快赔上笑脸.“这个一定优化,马上优化!那个,能不能看下数据库监控日志...” 运维大佬又数落了我几句,然后调开了数据库监控日志. 那家伙...每秒300多的连接数,几乎快要封顶的全表扫描数,还有大红色CPU警报... “那个…
MySQL数据库使用规范一.建表规约1.[强制]表达是与否概念的字段,必须使用is_xxx的方式命名,数据类型是unsigned tinyint (1表示是,0表示否) 说明:任何字段如果为非负数,必须是unsigned 正例:表达逻辑删除的字段名is_deleted,,1表示删除,0表示未删除2.[强制]表名.字段名必须使用小写字母或数字,禁止出现数字开头,禁止两个下划线中间出现数字.数据库字段名的修改代价很大,因为无法进行预发布,所以字段名称需要慎重考虑. 正例:getter_admin,t…
朋友在做福利彩票业务,遇到一个存储毫秒微秒数据的需求,问我mysql里面有何解决方案.我脑中一搜索,以前没有关注到,于是去官网查看,找到11.3.6 Fractional Seconds in Time Values 这一章节,看到一个描述 To define a column that includes a fractional seconds part, use the syntax type_name(fsp), where type_name is TIME, DATETIME, or…
mysql的配置文件是/etc/my.cnf,通过修改它来配置mysql. /etc/my.cnf来自以下文件: 如果你的内存≤64M,则复制/usr/local/share/mysql/my-small.cnf为/etc/my.cnf # This is for a system with little memory (<= 64M) where MySQL is only used # from time to time and it’s important that the mysqld…
欢迎关注个人微信公众号: 小哈学Java, 文末分享阿里 P8 高级架构师吐血总结的 <Java 核心知识整理&面试.pdf>资源链接!! 个人网站: https://www.exception.site 小哈今天给大家分享的主题是,如何通过 Docker 快速搭建各种测试环境,本文列举的,也是小哈在工作中经常用到的,其中包括 Mysql, Redis, Elasticsearch, MongoDB 安装步骤, 通过几行命令秒秒钟就能轻松搞定. 友情提示:搭建之前,你需要先安装 Doc…
一.摘要 众所周知,MYSQL 是目前使得最广泛.最流行的数据库技术之一,为了更方便的管理数据库,市场上出现了大量软件公司和个人开发者研发的客户端工具,比如我们所熟知的比较知名的客户端: Navicat.SQLyog.DataGrip 等等. 说实话,这些客户端非常的好用,尤其是 Navicat,功能强大.操作流程.简单易用,而且能连接的数据库种类繁多,也是小编我最喜爱的一款数据库客户端. 但是,天下没有免费的午餐,这些客户端都是收费型的,以 Navicat 为例,如果是个人版的,一年的使用费是…
㈠ 大数据量INSERT          ⑴ 使用多行插入代替单行:insert into t values (),(),(),...          ⑵ LOAD DATA INFILE ... INTO TABLE t          ⑶ 写入临时表.在 INSERT ... SELECT           ⑷ 取消索引.约束,等数据加载完后在重建          ⑸ INSERT时指定DELAYED属性          ⑹ 对于InnoDB.可以分散INSERT到多个事务.批量…
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t where num=0 3.应尽量避免在 where 子句中使用!=或<>操作符,否则引擎将放弃使用…
素材表数据:user[{"id":1,"name":"x"},{"id":2,"name":"x"},{"id":3,"name":"y"},{"id":4,"name":"y"},{"id":5,"name":"z&q…
一 . 基础规范 1.必须使用InnoDB存储引擎 解读:支持事务:支持行级锁:支持MVCC多版本控制:支持外键:死锁自动检测:并发性能更好.CPU及内存缓存页优化使得资源利用率更高. 2.  表字符集推荐使用utf8mb4 解读:utf8 是 Mysql 中的一种字符集,只支持最长三个字节的 UTF-8字符,也就是 Unicode 中的基本多文本平面(BMP).任何不在基本多文本平面的 Unicode字符,都无法使用 Mysql 的 utf8 字符集存储.包括 Emoji 表情(Emoji 是…
适用场景:并发量大.数据量大的互联网业务;可以先阅读必须掌握的MySQL优化指南 一.基础规范 (1)必须使用InnoDB存储引擎 解读:支持事务.行级锁.并发性能更好.CPU及内存缓存页优化使得资源利用率更高 (2)必须使用UTF8字符集 UTF-8MB4 解读:万国码,无需转码,无乱码风险,节省空间 (3)数据表.数据字段必须加入中文注释 解读:N年后谁tm知道这个r1,r2,r3字段是干嘛的 (4)禁止使用存储过程.视图.触发器.Event 解读:高并发大数据的互联网业务,架构设计思路是"…
一.操作系统环境 操作系统版本选择 CentOS/RHRL/ORACLE Linux 5.x/6.x x86_64 发行版 建议磁盘分区规则 MySQL 运行环境建议规范 挂载点 大小 分区类型 分区用途 /boot 100M 系统默认即可 /boo swap 4G-16G swap swap /opt 20G xfs 安装应用软件应用程序安装在 /opt/app/ 下的子目录,例如 /opt/app/mysql-5.5.37 / 40G ,最小不低于 20G 系统默认即可 / /home 第一…
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 缺省情况下建立的索引是非群集索引,但有时它并不是最佳的.在非群集索引下,数据在物理上随机存放在数据页上.合理的索引设计要建立在对各种查询的分析和预测上.一般来说: a.有大量重复值.且经常有范围查询( > ,< ,> =,< =)和 order by.group by 发生的列,可考虑建立集群索引; b.经常同时存取多列,且每列都含有重复值可考虑建立组合索引, 选择度高的列…
做服务器端开发的同学们,相信对于mysql应该是十分熟悉,但是一旦真正出现问题,你是否能够快速的发现问题的起因,并且解决呢?一旦问题涉及到数据库层面,往往不是那么好解决的,通常来说,我们需要提前做应对未来可能出现问题的准备.下面是几条针对mysql使用的优化建议: 尽量减少数据库上的计算操作 将那些需要耗费cpu资源计算数据的操作尽可能的放在服务器上运行,不要所有的数学计算全部抛给数据库,减小数据库开销,提升效率. 合理的分库分表 按照具体的业务需求,合理的设计数据库和表,将数据合理分开存储.单…
http://blog.csdn.net/yunhua_lee/article/details/8239145 原文:http://dev.mysql.com/doc/refman/5.5/en/innodb-default-se.htmlBest Practices for InnoDB TablesIf you have been using InnoDB for a long time, you already know about features like transactions a…
由于在生产环境下,我们对MySQL数据库的操作通常是通过命令行进行操作,因此,建议建表的时候也手写MySQL语句(不建议用图形界面建表). 1.添加注释的格式 在编写MySQL语句时,我们通常会被要求加上注释,推荐的注释格式为: ------------------------------------------------- -- 创建表 tb_example 创建示例表 ------------------------------------------------- create tabl…
转自 http://coolshell.cn/articles/1846.html MYSQL 优化建议20条 1. 为查询缓存优化你的查询 大多数的MySQL服务器都开启了查询缓存.这是提高性最有效的方法之一,而且这是被MySQL的数据库引擎处理的.当有很多相同的查询被执行了多次的时候,这些查询结果会被放到一个缓存中,这样,后续的相同的查询就不用操作表而直接访问缓存结果了. 这里最主要的问题是,对于程序员来说,这个事情是很容易被忽略的.因为,我们某些查询语句会让MySQL不使用缓存.请看下面的…
转自: http://blog.csdn.net/waferleo/article/details/7179009 今 天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显.关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我们程序员 需要去关注的事情.当我们去设计数据库表结构,对操作数据库时(尤其是查表时的SQL语句),我们都需要注意数据操作的性能.这里,我们不会讲过多的 SQL语句的优化,而只是针对MySQL这一Web应用最多的数据库.希望下面的这些优化技巧对你…
MySQL性能优化的最佳20+条经验 2009年11月27日陈皓发表评论阅读评论100,946 人阅读   今天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显.关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我们程序员需要去关注的事情.当我们去设计数据库表结构,对操作数据库时(尤其是查表时的SQL语句),我们都需要注意数据操作的性能.这里,我们不会讲过多的SQL语句的优化,而只是针对MySQL这一Web应用最多的数据库.希望下面的这些优化技巧对你有用. 1.…
业务级别MySQL 目录 业务级别MySQL 1. 权限管理和备份 1. 用户管理 1. SQLyog可视化操作 2. SQL命令操作 2. MySQL备份 3. 规范数据库设计 1. 为什么需要设计 1. 糟糕的数据库设计: 2. 良好的数据库设计 3. 软件开发中,关于数据库的设计 4. 设计数据库的步骤(个人博客) 2. 三大范式 1. 为什么需要数据规范化? 2. 第一范式(1NF) 3. 第二范式(2NF) 4. 第三范式(3NF) 5. 规范性和性能的问题 1. 权限管理和备份 1.…
转自:http://mp.weixin.qq.com/s?__biz=MjM5NDE0MjI4MA==&mid=208777870&idx=1&sn=6efddd6283e4deb3fe55a141b0db965c 本文根据 DevOps华南运维圈@UCloud微信群的「运维在线」栏目的嘉宾分享整理而成.「运维在线」将邀请业界运维前线技术专家作为分享嘉宾,分享技术趋势和技术实战,为运维朋友提供各种踩坑.躲坑.绕坑新技能. 嘉宾介绍 叶金荣Oracle MySQL ACE,国内最早的…
转载: MySQL通用优化手册 内容提纲 MySQL的特点: 硬件.系统优化: MySQL 配置优化: SCHEMA设计优化: SQL 优化: 其他优化. MySQL 的特点 首先,需要明确的是.想要做好MySQL优化,需要先了解MySQL都有哪些特点: 简言之,MySQL一般用于互联网业务的数据持久化存储,并且用于保证数据的一致性.可靠性,而不是用于: 复杂查询: 复杂运算: 大二进制存储. 等奇葩用途. CPU的利用特点 看看MySQL不同版本对CPU多核的支持.利用情况: 建议: 采用最新…
http://mp.weixin.qq.com/s?__biz=MjM5NDE0MjI4MA==&mid=208777870&idx=1&sn=6efddd6283e4deb3fe55a141b0db965c 嘉宾介绍 叶金荣Oracle MySQL ACE,国内最早的MySQL推广者.2006年创办国内首个MySQL专业技术网站 MySQL 中文网.资深MySQL专家,10余年MySQL经验,擅长MysQL性能优化.架构设计.故障排查. 内容提纲 MySQL的特点: 硬件.系统优…