最近在做多数据库合并的脚本, 要将多个分数据库的表数据合并到一个主数据库中. 以下是我在编写数据订正脚本时犯过的错误, 记录以为鉴. 不必要的查询 请看以下语句: regiondb = db.Houyiregiondb() houyidb = db.Houyidb(read_only=False) regiondbRet = regiondb.query(vmmacsFromRegiondbSql) houyidbRet = houyidb.query(vmmacsFromHouyidbSql)…

因为要做性能测试,需要大量造数据到数据库中,于是用python写了点代码去实现,批量插入,一共四张表 简单粗暴地插入10万条数据 import pymssql import random __author__ = 'sryan' class GenerateData: def __init__(self): print('init') self.conn = None self.cur = None def connect(self, host, user, password, database…

这里的批量插入,主要是支持SQL的大型存储数据库,本文以Mysql,Oracle,SqlServer,postgresql4类来说明,这大概是国内应用比较多的了.其余的应该可以按照这些去找.提到编程的话,主要是指c#.当然我不是dba,是程序员,所以说的是编程开发的手段而不是dba的手段.也希望大家留言比较. 先说说我们常用的几种方法,我就不列举代码了.网上都有,大家可以自己试试. 1.事务 开启一个事务,将多条语句执行,然后提交.有的数据库限制sql个数1000. 2.多值插入语法 inser…

1.索引简单的说,索引就像书本的目录,目录可以快速找到所在页数,数据库中索引可以帮助快速找到数据,而不用全表扫描,合适的索引可以大大提高数据库查询的效率.(1). 优点大大加快了数据库检索的速度,包括对单表查询.连表查询.分组查询.排序查询.经常是一到两个数量级的性能提升,且随着数据数量级增长. (2). 缺点索引的创建和维护存在消耗,索引会占用物理空间,且随着数据量的增加而增加.在对数据库进行增删改时需要维护索引,所以会对增删改的性能存在影响. (3). 分类a. 直接创建索引和间接创建索引直…

提起MySQL数据库在硬件方面的优化无非是CPU.内存和IO.下面我们着重梳理一下关于磁盘I/O方面的优化. 1.磁盘冗余阵列RAID RAID(Redundant Array of Inexpensive Disk)的基本目的是把小型廉价的硬盘合并成一块大容量的硬盘,用于解决数据冗余性并降低成本,且提高数据处理性能. 1.1 RAID的优点 RAID的优点可以从高传输速率和容错两方面来阐述: (1)提高传输速率.RAID通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量(Thro…

1.慢查询 SHOW VARIABLES LIKE '%quer%'…

向MySQL发送一个请求时MySQL具体的操作过程 慢查询 1.慢查询 SHOW VARIABLES LIKE '%quer%' 索引优化技巧 1.对于创建的多列索引(复合)索引,只要查询条件使用了最左边的列,索引一般就会被使用. 2.对于使用like的查询,查询如果是“%aaa”.“_aaa”就不会使用索引,“aaa%”就会使用索引. 3.如果条件中有or,则要求or的所有字段都必须有索引,否则不能使用索引. 4.如果列类型是字符串,则一定要在条件中将数据使用引号引起来,否则不使用索引. 5如…

https://github.com/flily/lua-performance/blob/master/Guide.zh.md https://springrts.com/wiki/Lua_Performance http://www.lua.org/gems/sample.pdf…

一.使用mysql慢查询日志对有效率问题的sql进行监控      1)开启慢查询       show variables like ‘slow_query_log’;//查看是否开启慢查询日志       set global slow_query_log_file=‘/mysql/‘; //设置慢查询日志的位置       set global log_queries_not_using_indexes=on;//设置没有使用索引的sql语句       set global long_q…

1,查看CPU占用量最高的会话及SQL语句   select spid,cmd,cpu,physical_io,memusage, (select top 1 [text] from ::fn_get_sql(sql_handle)) sql_text from master..sysprocesses order by cpu desc,physical_io desc   2,查看缓存重用次数少,内存占用大的SQL语句   SELECT TOP 100 usecounts, objtype,…