场景

  这几天在赶十一上线的项目,但是突然发现接口性能不好,高并发支持不住。又不想改代码,就在数据库层面进行优化。

Mysql

  分区:项目中有对40万条的数据进行时间查询的要求,就算对DateTime建立了索引,也十分耗时。这个时候可以用分区,把一个表按一个字段分为多个区,比如创建时间(DateTime类型)。主要分区语句如下:

partition by range COLUMNS(CreateTime)(
PARTITION 08p1 VALUES LESS THAN ('2009-01-01'),
PARTITION 09p1 VALUES LESS THAN ('2010-04-01'),
PARTITION 09p2 VALUES LESS THAN ('2011-07-01'),
PARTITION 09p3 VALUES LESS THAN ('2012-10-01'),
PARTITION 09p4 VALUES LESS THAN ('2013-01-01'),
PARTITION 10p1 VALUES LESS THAN ('2014-04-01'),
PARTITION 10p2 VALUES LESS THAN ('2015-07-01'),
PARTITION 10p3 VALUES LESS THAN ('2016-10-01'),
PARTITION 10p4 VALUES LESS THAN ('2017-01-01'),
PARTITION 11p1 VALUES LESS THAN ('2018-04-01'),
PARTITION 11p2 VALUES LESS THAN ('2019-07-01'),
PARTITION 22p12 VALUES LESS THAN ('2020-01-01'),
PARTITION p12 VALUES less than MAXVALUE
);

  在Create Table的sql语句中添加,这里采用的是RANGE 分区,还有其他类型的分区。注意:

    1.之后可以对某一分区进行细分,不会影响数据;用reorganize语句

    2.可以合并分区,不会影响数据;

    3.一定要有less than MAXVALUE,避免有数据不能分配到分区中。

    4.最好把分区的字段设为主键。

  最后,MYSQL中40多万的数据查询耗时到100ms以内。

  配置文件:主要修改以下参数:

    1.innodb_buffer_pool_size。是InnoDB引擎中处理缓存的;

    2.innodb_buffer_pool_instances。

MongoDB

  异步:最好把代码中所有有关增加,查询等操作的都改为异步,可以减少耗时。

  配置文件:主要修改以下参数:

    1.wiredTigerCacheSizeGB。单位是GB,用来设置引擎所使用的缓存大小,默认单例下使用内存的一半。

    2.maxConns = 2000。最大连接数。

Liunx

  主要修改一些系统限制,在/etc/sysctl.conf文件中进行修改,重启生效。

    1.vm.swappiness。值越大,表示越积极使用swap分区,越小表示越积极使用物理内存.

    2.* soft nofile 65535 和 * hard nofile 65535 ,修改每个进程能打开的最大文件数

Liunx下Mysql,MongoDB性能优化的配置的更多相关文章

  1. Mysql数据库性能优化(一)

    参考 http://www.jb51.net/article/82254.htm 今天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显.关于数据库的性能,这并不只是DBA才需要 ...

  2. mysql数据库性能优化(包括SQL,表结构,索引,缓存)

    优化目标减少 IO 次数IO永远是数据库最容易瓶颈的地方,这是由数据库的职责所决定的,大部分数据库操作中超过90%的时间都是 IO 操作所占用的,减少 IO 次数是 SQL 优化中需要第一优先考虑,当 ...

  3. MySQL 数据库性能优化之缓存参数优化

    在平时被问及最多的问题就是关于 MySQL 数据库性能优化方面的问题,所以最近打算写一个MySQL数据库性能优化方面的系列文章,希望对初中级 MySQL DBA 以及其他对 MySQL 性能优化感兴趣 ...

  4. DB-MySQL:MySQL 语句性能优化

    ylbtech-DB-MySQL:MySQL 语句性能优化 1.返回顶部 1. MySQL概述1.数据库设计 3范式2.数据库分表分库---会员系统() 水平分割(分页如何查询)MyChar .垂直3 ...

  5. MySQL“被动”性能优化汇总!

    年少不知优化苦,遇坑方知优化难. --村口王大爷 本文内容导图如下: 我之前有很多文章都在讲性能优化的问题,比如下面这些: <switch 的性能提升了 3 倍,我只用了这一招!> < ...

  6. MySQL数据库性能优化与监控实战(阶段四)

    MySQL数据库性能优化与监控实战(阶段四) 作者 刘畅 时间 2020-10-20 目录 1 sys数据库 1 2 系统变量 1 3 性能优化 1 3.1 硬件层 1 3.2 系统层 1 3.3 软 ...

  7. MySQL查询性能优化七种武器之索引下推

    前面已经讲了MySQL的其他查询性能优化方式,没看过可以去了解一下: MySQL查询性能优化七种武器之索引潜水 MySQL查询性能优化七种武器之链路追踪 今天要讲的是MySQL的另一种查询性能优化方式 ...

  8. 1229【MySQL】性能优化之 Index Condition Pushdown

    转自http://blog.itpub.net/22664653/viewspace-1210844/  [MySQL]性能优化之 Index Condition Pushdown2014-07-06 ...

  9. MySQL 数据库性能优化之索引优化

    接着上一篇 MySQL 数据库性能优化之表结构,这是 MySQL数据库性能优化专题 系列的第三篇文章:MySQL 数据库性能优化之索引优化 大家都知道索引对于数据访问的性能有非常关键的作用,都知道索引 ...

随机推荐

  1. jquery 操作checkbox是否选中的正确方法

    对于checkbox,若要选中,需要用jquery的prop()方法,不要用attr(). <input type="checkbox" id="slide_che ...

  2. PostgreSQL隐藏字段

    1)创建了一个表 apple=# \d test_time Table "public.test_time" Column | Type | Modifiers --------+ ...

  3. CentOS8安装jdk1.8

    安装方法 CentOS8上使用 yum 直接安装,环境变量自动配置好 查看是否已安装 看到下面结果,说明已经安装配置 jdk [root@iZ2ze8crquorxf6c7l0eluZ ~]# jav ...

  4. 编辑器扩展 --- 自动化处理之AssetPostprocessor资源导入

    AssetPostprocessor资源导入管线 AssetPostprocessor用于在资源导入时自动做一些设置,比如当导入大量图片时,自动设置图片的类型,大小等.AssetPostprocess ...

  5. centos6.10下安装mysql8.0.16root密码修改的坑

    上图截取别人的自己懒得弄,检查自己的linux是否有安装就按上图做就行了 接下来是我的干货 mysql8.0安群策略对密码设置很严格规则:大小写加数字和特殊字符串 使用yum安装mysql 后 my. ...

  6. 状态码1xx-6xx的含义

    1xx (临时响应)表示临时响应并需要请求者继续执行操作的状态代码. 100 (继续) 请求者应当继续提出请求. 服务器返回此代码表示已收到请求的第一部分,正在等待其余部分. 101 (切换协议) 请 ...

  7. Kickstart部署之HTTP架构

    原文转自:https://www.cnblogs.com/itzgr/p/10029527.html作者:木二 目录 一 准备 1.1 完整架构:Kickstart+DHCP+HTTP+TFTP+PX ...

  8. .Net Core配置Configuration源码研究

    最近又研究了一下.NetCore配置选项的源码实现,又学习到了不少东西.这篇文章先写一下IConfiguration的学习成果,Options的后面补上 核心类 ConfigurationBuilde ...

  9. 从IT圈“鄙视链”看前端开发有多难?

    如今"鄙视链"体现在生活的方方面面,各行各业都有默认一致的鄙视链.IT圈子因为开发语言多样.工程师岗位种类多.技术框架多,也有自己圈子内的鄙视链.按照开发工程师的岗位形成的鄙视链是 ...

  10. 20210819 Emotional Flutter,Medium Counting,Huge Counting,字符消除2

    考场 T1 一下想到了这题,将白块缩短 \(s\) 后维护类似的区间即可. T2 T3 俩计数,直接跳了. T4 的可行 \(t\) 集合相同相当与从 \(n\) 往前跳 kmp 数组,途径点相同,从 ...