http://blog.zol.com.cn/2210/article_2209590.html /** * 分表程序 *  * @author Shen Xi shen.xi@zol.com.cn * @date 2010-08-19 */set_time_limit(0);$con = mysql_connect("127.0.0.1","root","111111");#创建数据库连接mysql_select_db ("test&…

支持MySql的数据库自动分表工具DBShardTools发布 前段时间参与了公司的一个项目,这个项目的特点是数据量.访问量都比较大,考虑使用数据库水平分表策略,Google了大半天,竟然没有找到分表工具.于是自己写了个数据库水平分表工具,支持MS Sql Server和 MySQL,对MYSQL支持比较好. 下面介绍下分表工具的使用方法. 首先是设置数据库连接界面 输入连接名称(也可以点击右边的选择框,从之前保存的连接中选择),选择数据库类型(目前支持Mysql和Sql Server),输入i…

create table TempComments Like dycomments; 上述 SQL语句创建的新表带有原表的所有属性,主键,索引等. 自动分表怎么做呢? 使用上述语句自动创建分表. 那么ID怎么设置呢? 更改表格自增主键的起始值 例如 表格为  xxx_201604 那么将起始值设为201604000000000000000 //具体操作 1.创建模板表格,如上述Sql语句 2.设置Mysql 允许执行事件 SET GLOBAL event_scheduler = 1; 3.创建事…

前言 最近用Asp.net Core开发程序的时候 因为时间的关系,就没有过多的去关注日志方面的功能 都是直接用系统的ILogger先记录着,然后看日志的时候就先在命令行看日志 在开发阶段没有什么问题,但是到了系统上线后 总不能一直在命令行看日志.总要把日志输出到一个方便查看的地方 开始 直接引用NLog.Web.AspNetCore组件 然后编写nlog.config文件放到程序的根目录 <?xml version="1.0" encoding="utf-8"…

工作上遇到的问题,网上找了一些资料 整理了一个比较可行的解决方案. NPOI 大数据量分多个sheet导出 代码段 /// <summary> /// DataTable转换成Excel文档流,并输出到客户端 /// </summary> /// <param name="table"></param> /// <param name="response"></param> /// <pa…

ShardingCore ShardingCore 是一个支持efcore 2.x 3.x 5.x的一个对于数据库分表的一个简易扩展, 目前该库暂未支持分库(未来会支持),仅支持分表,该项目的理念是让你可以已最少的代码量来实现自动分表的实现,经过多个开源项目的摸索参考目前正式开源本项目 项目地址 github 喜欢的朋友可以点下star Thanks♪(･ω･)ﾉ 依赖 Release EF Core .NET Standard .NET (Core) Sql Server Pomelo.Ent…

一.疑问&目的 1.1 分表使用场景 (1)可扩展架构设计,比如一个ERP用5年不卡,到了10就卡了因为数据太多了,这个时候很多人都是备份然后清空数据,这个工作大并且麻烦,以前的数据很难在使用 (2) 数据量太多 ,例如每天都有 几十上百万的数据进入库,如果不分表后面查询将会非常缓慢 (3)   性能瓶颈 ,比如我插入超过1个亿很多索引会莫名失效,性能缓存,具体原因很难排查,有分表功能,我就能知道插入哪个表,这样我只对一个分表进行插入性能是成倍增长 1.2  我的目的 说到ORM很多会想到EF…

/// <summary> /// 由DataTable导出Excel[超出65536自动分表] /// </summary> /// <param name="sourceTable">要导出数据的DataTable</param> /// <returns>Excel工作表</returns> public MemoryStream ExportDataTableToExcel(DataTable source…

问题的提出 在项目中,有些表的记录增长非常快,记录数过大时会使得查询变得困难,导致整个数据库处理性能下降.此时,我们会考虑按一定的规则进行分表存储. 常用的分表方式是按时间周期,如每月一张,每天一张等.当每月或每天首条记录到达时,根据表结构创建该周期为后缀的表进行存储. 相关考虑 这其中主要考虑两个问题: (1)如何复制表 采用分表机制,通常会建立一个模板表.所谓模板表,是只定义结构不存储数据的,也可称之为类表,而分表,通常会以增加后缀的方式命名,如 log_201901,分表实际存储数据,可称…

/** * 记录网站日志 * * @return bool */ public function record() { // 组装数据 $log = self::$param; $log[self::METHOD] = strtoupper($log[self::METHOD]); $data = self::$data; // 截取一部分数据,避免数据太大导致存储出错,比如文章发布提交的数据 ) { foreach ($data as &$v) { if (is_string($v)) { $…