问题分析探讨 --> 大约有700W数据的表,把当天的10W数据select导入新表,整个原来的表就锁死
Sun shine 16:15:55
帅哥 我有个手机表 大约有700百数据，，每天新增 大约五万，并且新也有update 大约10万 然后 我每晚 把当天的数据select 导入一个新表中的时候 整个表就锁死了， 有什么好的解决方案吗
黄杉() 17:32:18
你的导入方式是？
刚才在忙
你的导入方式或者大概过程是怎么样的？
Sun shine 17:43:39
insert 表 a select * from 表b where time=day
黄杉() 17:49:45
数据量一次性操作太多了
分成N个小的sql试下
Sun shine 17:50:17
每次大约 6万条
黄杉() 17:50:18
比如， 5分钟的数据拉一次
Sun shine 17:50:28
好的 我试试。
黄杉() 17:50:39
每拉一次，间隔5分钟
做成一个contrab任务
Sun shine 17:51:30
我这边是直接 程序 jdbc 写的sql
黄杉() 17:52:27
那就做一个java的quart任务
放到业务最低峰的时候执行。
Sun shine 17:52:49
恩是的，现在是每天导入一次。
黄杉() 17:53:08
分多次导入吧，我猜测你们的mysql服务器配置很低吧
Sun shine 17:53:38
服务器 是 8g内存 4核的。
整个服务器就放了一台数据库
黄杉() 17:54:01
好吧，跟我们的个人pc机差不多的配置
Sun shine 17:55:04
是的 比较低。
公司小，一切都得省 得重程序的方面去优化。
黄杉() 17:55:55
那么操作的时候，就每次执行少量的数据，不要太多了，磁盘io，cpu啥以及内存啥的消耗少一些
创业型的公司吧
前途大大的
加油
Sun shine 17:56:34
对的，刚创业的公司。
技术人员配的不齐，我们写程序的 也得搞数据库。
黄杉() 17:57:15
那以后就是多面手了, cto的候选人
Sun shine 17:58:26
这个 还要很多年的磨练
黄杉() 17:58:44
没有 ，准备建立个索引
那要建个索引的，不然会很慢的
问题分析探讨 --> 大约有700W数据的表,把当天的10W数据select导入新表,整个原来的表就锁死的更多相关文章
- RTMPdump（libRTMP） 源代码分析 9： 接收消息（Message）（接收视音频数据）
===================================================== RTMPdump(libRTMP) 源代码分析系列文章: RTMPdump 源代码分析 1: ...
- 金融量化分析-python量化分析系列之---使用python获取股票历史数据和实时分笔数据
财经数据接口包tushare的使用(一) Tushare是一款开源免费的金融数据接口包,可以用于获取股票的历史数据.年度季度报表数据.实时分笔数据.历史分笔数据,本文对tushare的用法,已经存在的 ...
- flink-----实时项目---day07-----1.Flink的checkpoint原理分析 2. 自定义两阶段提交sink（MySQL） 3 将数据写入Hbase（使用幂等性结合at least Once实现精确一次性语义） 4 ProtoBuf
1.Flink中exactly once实现原理分析 生产者从kafka拉取数据以及消费者往kafka写数据都需要保证exactly once.目前flink中支持exactly once的sourc ...
- 韩顺刚-tcp报文头协议详细分析第一包数据：序号是0，发送数据的长度是0，因为没有收到对端的数据，所以确认号是0， Syn的标志位设置成1，这里没有发送的数据，只发送TCP的20个字节的头部
TCP报文段首部格式 大部分TCP报文头部都是20个字节,有的数据包要加上选项. 上面一行代表4个字节,源端口和目的端口都是2个字节. TCP协议是面向字节流的协议 TCP是一段一段分块的发送数据的 ...
- 从大数据到快数据 数据智创未来——2019 CCF大数据与计算智能大赛正式开赛!
8月17日,以“数据驱动,智创未来”为主题的2019 CCF大数据与计算智能大赛(CCF Computing Intelligence Contest,简称CCF BDCI)全球启动仪式,在北京大学正 ...
- 【推荐】oc解析HTML数据的类库（爬取网页数据）
TFhpple是一个用于解析html数据的第三方库,本人感觉功能还算可以,只不过在使用前必须配置项目. 配置 1.导入libxml2.tbd 2.设置编译路径 使用 这里使用一个例子来说明 http: ...
- Java抓取网页数据（原来的页面+Javascript返回数据）
转载请注明出处! 原文链接:http://blog.csdn.net/zgyulongfei/article/details/7909006 有时候因为种种原因,我们须要採集某个站点的数据,但因为不同 ...
- SQL C# nvarchar类型转换为int类型 多表查询的问题，查询结果到新表，TXT数据读取到控件和数据库，生成在控件中的数据如何存到TXT文件中
在数据库时候我设计了学生的分数为nvarchar(50),是为了在从TXT文件中读取数据插入到数据库表时候方便,但是在后期由于涉及到统计问题,比如求平均值等,需要int类型才可以,方法是:Conver ...
- MySQL（九）之数据表的查询详解（SELECT语法）二
上一篇讲了比较简单的单表查询以及MySQL的组函数,这一篇给大家分享一点比较难得知识了,关于多表查询,子查询,左连接,外连接等等.希望大家能都得到帮助! 在开始之前因为要多表查询,所以搭建好环境: 1 ...
随机推荐
- JQuery实现点击div以外的位置隐藏该div窗口
简单示例代码: <body> <script type="text/javascript" src="http://ajax.googleapis.co ...
- 安装gem invalid date format in specification错误的解决方法
别的不说,报错信息直接贴图: 解决方法: 1.找到你环境目录下的spec,例如:D:\Ruby187\lib\ruby\gems\1.8\specifications. 2.找到引起错误文件的gems ...
- Form.KeyPreview 属性
Form.KeyPreview 属性 今天再做KeyDown 和 KeyUp 事件时,就是忘了设置,窗体的KeyPreview 属性,所以KeyDown 和 KeyUp 事件没有反应(这里说明一下,本 ...
- hadoop异常：java.lang.RuntimeException: java.lang.NoSuchMethodException
出现异常的程序大致框架是这样的: public class getMaxTemperature extends Configured implements Tool { ... class MaxTe ...
- [Hadoop源码解读]（三）MapReduce篇之Job类
下面,我们只涉及MapReduce 1,而不涉及YARN. 当我们在写MapReduce程序的时候,通常,在main函数里,我们会像下面这样做.建立一个Job对象,设置它的JobName,然后配置输入 ...
- Jquery 输入金额格式限制 插件
(function($) { $.fn.extend({ money_mode: function(options) { var defaults = { decimal_length: 2,//小数 ...
- CVirtualGridCtrl控件内的数据如何获取
CVirtualGridCtrl控件是同花顺自己写的控件和网上的不同,难处理,可以通过 模拟输入ctrl+c,然后从clipboard提取内容.
- HDU5654xiaoxin and his watermelon candy 离线+树状数组
题意:bc 77div1 d题(中文题面),其实就是询问一个区间有多少不同的三元组,当然这个三元组要符合条件 分析(先奉上官方题解) 首先将数列中所有满足条件的三元组处理出来,数量不会超过 nn个. ...
- Selenium 实现联想下拉框
直接在文本框输入字符,并不能实现联想下拉框, 第一种方式:强制执行js driver.FindElement(By.Id("top_search_input")).SendKeys ...
- 快速定位隐蔽的sql性能问题及调优【转载】
在前几天,有个开发同事问我一个问题,其实也算是技术救援,他说在有个job数据处理的频率比较高,在测试环境中很难定位出在哪有问题,而且速度也还能接 受,但是在生产环境中总是会慢一些,希望我能在测试环境中 ...