一.场景描述 线上有一台MySQL服务器,里面有几十个数据库,每个库有N多表. 现在需要将每个表的信息,统计到excel中,格式如下: 库名 表名 表说明 建表语句 db1 users 用户表 CREATE TABLE `users` (...) 二.需求分析 怎么做呢? 1. 手动录入(太TM苦逼了,那么多表呀...) 2. 使用Python自动录入(Great) 三.获取相关信息 需要利用的技术点,有2个.一个是pymysql(连接mysql),一个是xlwt(写入excel) 安装模块 p…

基于Python 从mysql表读取千万数据实践   by:授客 QQ:1033553122 场景:   有以下两个表,两者都有一个表字段,名为waybill_no,我们需要从tl_waybill_bar_record表读取1000w条唯一的waybill_no,然后作为INSERT SQL语句的一部分,填充到ts_order_waybill的waybill_no字段中 tl_waybill_bar_record ts_order_waybill 另外tl_waybill_bar_record表…

Python 3 mysql 表操作 表相当于文件,表中的一条记录就相当于文件的一行内容,不同的是,表中的一条记录有对应的标题,称为表的字段 id,name,qq,age称为字段,其余的,一行内容称为一条记录 一 .创建表 语法: create table 表名( 字段名1 类型[(宽度) 约束条件], 字段名2 类型[(宽度) 约束条件], 字段名3 类型[(宽度) 约束条件] ); 注意: 1. 在同一张表中,字段名是不能相同 2. 宽度和约束条件可选 3. 字段名和类型是必须的 创建表 c…

背景:将mysql表查询结果写入excel. 1.使用sqlyog工具将查询结果导出到Excel.xml中,用excel打开发现:因为text字段中有回车换行操作,显示结果行是乱的. 2.用mysql -uadmin -p -h -P -NBe"select * from tb;" >>a.txt 导出.发现用TXT查看还是excel查看也是乱序. 3.下面是用Python的xlsxwriter模块写入excel文件. 数据库表: CREATE TABLE `s1` ( …

一.需求分析 线上的MySQL服务器,最近有很多慢查询.需要统计出行数大于100万的表,进行统一优化. 需要筛选出符合条件的表,统计到excel中,格式如下: 库名 表名 行数 db1 users 1234567 二.统计表的行数 统计表的行数,有2中方法: 1. 通过查询mysql的information_schema数据库中INFODB_SYS_TABLESTATS表,它记录了innodb类型每个表大致的数据行数 2. select count(1) from 库名.表名 下面来分析一下这2…

#!/usr/bin/env python # -*- coding: utf-8 -*- import urllib2 import json import subprocess import threading #统计10个最频繁访问的ip ip_raw = subprocess.Popen("cut -d ' ' -f1 host.access.log.* | sort | uniq -c | sort -rn | head -n 10 | awk '{print $2}'",s…

今天尝试着用 Python 写了个脚本试着连接 mysql 数据库,并查询里边的数据,不过最终查询结果中文字符变成了ascii格式. 代码如下: #!/usr/bin/python #encoding=utf-8 import MySQLdb import json db = MySQLdb.connect(host='xxx.xxx.xx.xxx',port=3306,user='name',passwd='pwd',db='my_database_name') cursor = db.cur…

一 一对多,多对一 1.1 建立多对一 ,一对多的关系需要注意 先建立被关联的表,被关联的字段必须保证时唯一的 在创建关联的表,关联的字段一定是可以重复的 1.2 示例: 出版社 多对一,多个老师可能在一家出版社 一夫多妻 一对多 create table dep(. 被关联的字段必须保证唯一 id int primary key auto_increment, name varchar(20), comment varchar(50) ); create table emp( id int p…

一.需求分析 在<python 统计MySQL表信息>这篇博客中,链接如下: https://www.cnblogs.com/xiao987334176/p/9901692.html 已经统计出来了一个MySQL服务器的所有表信息,但是还不够,还缺2个列.分别是备注和是否使用 库名 表名 表说明 建表语句 备注 是否使用 db1 users 用户表 CREATE TABLE `users` (...)   是   log2   CREATE TABLE `log2` (...) 废弃 否 注意…

转:https://www.cnblogs.com/ssslinppp/p/6178636.html https://segmentfault.com/q/1010000007268994?_ea=1290889 如果想要知道Mysql数据库中每个表占用的空间.表记录的行数的话,可以打开mysql的information_schema数据库.在该库中有个Tables表,这个表主要字段分别是:TABLE_SCHEMA:数据库名TABLE_NAME:表名ENGINE:所使用的存储引擎TABLES_R…