场景描述 线上mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多.运维找过来,磁盘占了200G,最后问了运营,可以只保留最近3天的,前面的数据,只能删了.删,怎么删? 因为这是线上数据库,里面存放有很多其它数据表,如果直接删除这张表的数据,肯定不行,可能会对其它表有影响.尝试每次只删除一天的数据,还是卡顿的厉害,没办法,写个Python脚本批量删除吧. 具体思路是: 每次只删除一天的数据: 删除一天的数据,每次删除50000条: 一天的数据删…

1,一般游戏log数据库会存储大量的玩家行为日志,一种行为一张表,每天生成一张新表,一天会有30+张不同行为的表,通常会保留玩家日志1年左右,对于超过1年的日志需要删除 2,log数据库一年会保存1W多张表格,用python写个工具,来高效批量的删除表格 解决思路: 1,分析表名,找出相同的规律,本人维护的游戏log库表名后缀通常是以 年+月+日生成的,有了这个规律就好办了 2,用一条sql语法生成出drop table 表名 #下面这条语法是模糊匹配找出2016年的所有表,然后生成'drop…

DECLARE @tablename VARCHAR(30),@sql VARCHAR(500)DECLARE cur_delete_table CURSOR READ_ONLY FORWARD_ONLY FORSELECT name FROM sysobjects WHERE name LIKE 'PUB%' AND type='U'OPEN cur_delete_tableFETCH NEXT FROM cur_delete_table INTO @tablenameWHILE @@FETC…

作过的人都知道,重复测试数据库的苦恼. 用法:# Usage: ./script user password dbnane mysql.nixcraft.in ~~~~~~~~~~~~~ #!/bin/bash # 删除mysql中所有表 # 示例: # Usage: ./script user password dbnane # Usage: ./script user password dbnane server-ip # Usage: ./script user password dbna…

以下通过触发器批量删除数据库中的表,SQL2008已验证 DECLARE @Table NVARCHAR() DECLARE @Count Int = DECLARE tmpCur CURSOR FOR SELECT name FROM sys.objects WHERE TYPE='U' AND name LIKE N'temp_cost%' order by name OPEN tmpCur FETCH NEXT FROM tmpCur INTO @Table WHILE @@FETCH_S…

如何批量删除Docker中已经停止的容器   方法一: #显示所有的容器,过滤出Exited状态的容器,取出这些容器的ID, sudo docker ps -a|grep Exited|awk '{print $1}' #查询所有的容器,过滤出Exited状态的容器,列出容器ID,删除这些容器 sudo docker rm `docker ps -a|grep Exited|awk '{print $1}'` 方法二: #删除所有未运行的容器(已经运行的删除不了,未运行的就一起被删除了) sud…

批量删除Windows7中隧道适配器的方法 1.在网卡属性的"网络"中,将"Internet协议版本(TCP/IPv6)"前面的勾去掉. 2.在CMD下分别执行如下三条命令. netsh interface teredo set state disable netsh interface 6to4 set state disable netsh interface isatap set state disable 3. 在"设备管理器"中先在&q…

import osimport xlrdfrom xlutils.copy import copydef base_dir(filename=None):    return os.path.join(os.path.dirname(__file__),filename) """对excel进行操作"""work = xlrd.open_workbook(base_dir("excel.xls"))# 索引到第X个工作表she…

MYSQL中约束及修改数据表 28:约束约束保证数据的完整性和一致性约束分为表级约束和列级约束约束类型包括:    NOT NULL(非空约束)    PRIMARY KEY(主键约束)    UNIQUE KEY(唯一约束)    DEFAULT(默认约束)    FOREIGN KEY(外键约束) 29:查看数据表的存储引擎SHOW CREATE TABLE 数据表名; 30:删除表中的数据DELETE FROM 数据表名 WHERE 条件; 31:外键约束的参照操作(外键约束的要求解析)外…

MySQL中UTF8编码的数据在cmd下乱,在数据库ide中看到的却是中文. 其实,原因是cmd用gbk的格式来显示数据,那么我们只需要将utf-8存储的数据用gbk的格式输出到cmd即可. 解决方法: 打开mysql->输入set names gbk; ps.千万别设置cmd用utf8的格式来显示数据,因为涉及到微软的设置,最好还是别动.…

simhash算法:海量千万级的数据去重 simhash算法及原理参考: 简单易懂讲解simhash算法 hash 哈希:https://blog.csdn.net/le_le_name/article/details/51615931 simhash算法及原理简介:https://blog.csdn.net/lengye7/article/details/79789206 使用SimHash进行海量文本去重:https://www.cnblogs.com/maybe2030/p/5203186…

通过python代码连接MySQL以及插入和显示数据: 数据库huahui创建一个shibie的表,里面有两个varcahr(100)的字段,num和result. import pymysql import pandas as pd conn = ) cursor = conn.cursor() #插入数据格式如下:insert into 表名(插入内容的表头) value(对应的数据) sql = "insert into shibie(num,result) value(1,'rose')…

最近测试接口遇到一个问题,用python2.7从mysql中取到的数据是元祖类型的,元祖内部的元素也是一个元祖(并且部分元素的编码格式是unicode的): 类似这样: ((10144, u''), (50016, u'[10029,50042,10189,50044]'), (10155, u'[10048]'), (10069, u'[50030,10133]'), (10029, u''), (0, u''), (10128, u''), (10189, u'[50041,50016,50…

C# 利用mysql.data 在mysql中创建数据库及数据表 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using MySql.Data.MySqlClient; namespace CA_Mysql { class Program { static void Main(string[] args) {…

删除书包中的一条数据 查询 <esql module=help id=list> Select ID,Subject,Writer,DayTime From Messages </esql> 删除前循环输出 <table border=1> <tr><th>ID</th><th>主题</th><th>作者</th><th>时间</th></tr> &l…

简单的总结一下如何在mysql中出入一条数据后,返回该条数据的id ,假如之后代码需要这个id,这样做起来就变得非常方便,内容如下: <insert id="insertAndGetId" useGeneratedKeys="true" keyProperty="userId" parameterType="User"> insert into user(userName,password,comment) val…

一.需求分析 在<python 统计MySQL表信息>这篇博客中,链接如下: https://www.cnblogs.com/xiao987334176/p/9901692.html 已经统计出来了一个MySQL服务器的所有表信息,但是还不够,还缺2个列.分别是备注和是否使用 库名 表名 表说明 建表语句 备注 是否使用 db1 users 用户表 CREATE TABLE `users` (...)   是   log2   CREATE TABLE `log2` (...) 废弃 否 注意…

目前线上一个单实例redis中无用的key太多,决定删除一部分. 1.删除指定用户的key,使用redis的pipeline 根据一定条件把需要删除的用户统计出来,放到一个表里面,表为 del_user(int user_id),rows大约在1千万. 要删除的key为 "login:%s" %s匹配 user_id . 写sql文如下:把sql文保存在一个文件里面,命名为 1.sql SELECT CONCAT( "*2\r\n", '$3\r\n',    'D…

Python作为一种脚本语言.其很适合文件级的各种操作.以下的代码能够批量删除指定目录下的所有特定类型(CSV类型)的文件. import sys, csv , operator import os import glob for i in range(0, 20): path = "C:\\Python34\\Folder_" + str(i) for infile in glob.glob( os.path.join(path, '*.csv') ): os.remove(infi…

出现的背景: 公司做了一个redis相关的项目,其中mysql存储了很多统计数据.比如客户端上报的数据,redis实例的数据,应用的数据,机器的数据等.每天都在上报,采集,由于没有定期删除,数据大量累积.大概有一年左右的数据,一个表的数据已经达到亿级别的.这样算下来,一个表的数据至少是几十GB了.因此需要删除过期的数据,暂时保留近三个月的统计数据. 解决方案: 基本每个表都有个字段叫create_time或者collect_time的字段,只要删除这个字段三个月之前的数据就ok了 delete…

一 说明 这个是我第一篇博客,所以我想放上原创的东西,尽管我一直都很担心自己写得太low,但是总要学会尝试,学会改变自己,相信自己.在写这个脚本时,由于我接触LInux不是很多,能力有限,仅仅是为了让自己心情好点,可以说只是为了完成任务,并没有考虑其中比如代码重复,注释不完整等诸多问题.这是9月份做的事情了,因为各种原因,后续也没去关注脚本中问题.请多多包含. 二 背景 公司最近在搞关于k8s的东西,我也跟着参与进去了.在学习和使用了一段时间之后,发现Habor中的镜像越来越多,因为我们是采用以…

有需要学习交流的友人请加入交流群的咱们一起,群内都是1-7年的开发者,希望可以一起交流,探讨PHP,swoole这块的技术 或者有其他问题 也可以问,获取swoole或者php进阶相关资料私聊管理即可 点此加入该群​jq.qq.com 首先采用Mysql存储千亿级的数据,确实是一项非常大的挑战.Mysql单表确实可以存储10亿级的数据,只是这个时候性能非常差,项目中大量的实验证明,Mysql单表容量在500万左右,性能处于最佳状态. 针对大表的优化,主要是通过数据库分库分表来解决,目前比较普遍的…

本文参考:http://blog.csdn.net/spring21st/article/details/15771861 http://stackoverflow.com/questions/5756067/how-to-empty-a-redis-database http://stackoverflow.com/questions/4006324/how-to-atomically-delete-keys-matching-a-pattern-using-redis 批量删除KeyRedi…

转自: http://www.maomao365.com/?p=813 在制作 MSSQL同步工具的时候,发现由于主外键的约束,导致数据同步异常,所有我们需要把 读数据库里面的主外键约束,进行批量删除操作. 1 如何批量查询数据库的主外键? 在MSSQL2005以上版本中,系统提供一个系统视图 sys.foreign_keys 可以查询出系统所有的外键约束2 如何批量删除数据库的主外间键? -----------------------------------------------------…

最近项目需要用到批量更新数据库里的数据,在网上找了一下这方面的例子,觉得这个还不错,分享给大家. 在这个业务里里面涉及到了更新两张数据表,那么大家是不是会想到非常简单,马上上代码 $sql ,type,update_time=time() where is=$value['id']"; 其中数据表名为newhouse_clicks,有四个字段,主键id,type(类型-整型)字段,clicks(点击量-整型)字段,update_time(整型)字段这样做确实没有问题吗?比如说批量更新当前城市下的…

1. DEL 直接加键名称 DEL key1 key2 key3 127.0.0.1:6379>  DEL site_msg_99973  false site_msg_99974   false site_msg_99979false 2. 批量删除key 可用keys ‘str*’ 列出要删除的key,接linux管道删除(linux命令行执行) 根据通配符查看待删除的key redis-cli KEYS "site_msg_999*” 接linux管道删除之 redis-cli KE…

一.删除字符串两端的一种或多种字符 #strip().lstrip().rstrip()方法:(默认删除空格符) A.list.strip(字符):删除字符串两端的一种或多种字符: #例:删除字符串s两端 a 或 b 或 c 字符: s = 'abbmmmcccbbb' s1 = s.strip('abc') print(s1) #输出:mmm B.list.lstrip(字符):删除字符串左端的一种或多种字符: C.list.rstrip(字符):删除字符串右端的一种或多种字符: 二.删除字符…

敲代码測试时总会碰到要删除日志目录下的日志或者删除一些历史文件.每次都会生成,再測试的时候为了查找错误原因方便总是要在測试前删除这些文件.手动删除比較麻烦.所以写一个批量删除脚本 import os def removeFileInFirstDir(targetDir): for file in os.listdir(targetDir): targetFile = os.path.join(targetDir, file) if os.path.isfile(targetFile): os.r…

原文链接:https://blog.csdn.net/wuming19900801/article/details/62893429 $sql = "update newhouse_clicks set clicks=6,type=1,update_time=time() where is=$value['id']"; 其中数据表名为newhouse_clicks,有四个字段,主键id,type(类型-整型)字段,clicks(点击量-整型)字段,update_time(整型)字段 这…

使用这个方法前,强烈建议先备份整个数据库.至于怎么备份?你不会么?在本文下方留言吧. 具体方法:复制下面的php执行语句,保存为sql.php文件(注意配置数据库名称.密码.数据表头),通过ftp上传到网站跟目录,运行. <?php //设置数据库连接信息.数据库服务器地址,数据库用户名,数据密码 mysql_connect('localhost','root','123456'); //设置查询的数据库名称,比如CMSYOU当前设置的是phpcms mysql_select_db('phpcm…