最近在负责一个项目的落地工作,需要每天导出客户通讯录进行统计各地区注册用户数、使用用户数、未使用用户数、注册不符合规范的用户等等操作,刚开始用户数量比较少,直接在excel中筛选查询就行,但是随着用户数量的增加到几十万,excel筛选已无法满足需求,所有就想着导入到MySQL数据库中进行查询,这样就起到事倍功半的效果.

1.首先用MySQL工具Navicat for MySQL导入excel表,excel表格编码格式为UTF-8格式.

我将excel表格导入MySQL db0库中,也需要设置编码为UTF-8格式;

mysql> show create database db0;
+----------+--------------------------------------------------------------+
| Database | Create Database |
+----------+--------------------------------------------------------------+
| db0 | CREATE DATABASE `db0` /*!40100 DEFAULT CHARACTER SET utf8 */ |
+----------+--------------------------------------------------------------+
row in set (0.00 sec)

2.如果第一步能将excel表成功导入数据库中,那就成功了一般,剩下的就是用sql对数据库的操作了,但是我的通讯录里面有三十一个省份自治区直辖市的用户,如果一条条sql统计的话也会比较的麻烦,所有就考虑自己写脚本来操作数据库了。

由于每次查询都需要登录数据库,所有将数据库用户名密码都保存在文件中,这样就可以直接执行脚本,也不担心执行提示明文密码不安全的警告.将用户数据库密码保存在/etc/my.cnf文件中,定义如下:

# cat /etc/my.cnf

[client]
host=localhost
port=
user=root
password=

然后再脚本中加入一下行,使用是$MySQL  -e "SQL语句" 即可.

#sed -i 's/x190920/x190927/g' *.sh

MySQL="mysql --defaults-extra-file=/etc/my.cnf"

#$MySQL -e "use db0;select * from 数据库名称;"

3.接下来就是根据需求来统计用户数据,可以通过shell脚本实现.

脚本示例:

1.>统计各省的人数及总人数,其中memberlist.txt文件保存的是各省的名称,

#!/bin/bash
########################################
#注册总人数
######################################## MySQL="mysql --defaults-extra-file=/etc/my.cnf" #统计各省的人数
function statistics()
{
for i in $(cat memberlist.txt |awk '{print $1}')
do
result=`$MySQL -e "use db0;select count(*) from x190927 where 部门 like '%$i%';"`
echo $result >> tmp.txt echo -e "\033[1;3;32m$i的统计人数为:\033[0m"
echo -e "\033[1;3;33m$result\033[0m" >/dev/null
done
} #统计总人数
function Summation(){
Accumulate=
total=`cat tmp.txt|awk '{print $2}'`
for n in $total
do
let Accumulate+=$n
done
echo -e "\033[1;3;34m注册总人数为:\n $Accumulate \033[0m"
} statistics
Summation
rm -rf /root/script/tmp.txt

2.示例二:统计各省市注册电话为空的用户总数及总数

在这里统计时将各省市的统计结果保存到excel中.

#!/bin/bash
########################################
#统计各省市注册用户电话为空的用户
######################################## MySQL="mysql --defaults-extra-file=/etc/my.cnf"
/usr/bin/rm -rf /var/lib/mysql-files/* function statistics()
{
for i in $(cat memberlist.txt |awk '{print $1}')
do
result=`$MySQL -e "use db0;select 姓名,帐号,手机,部门 from x190927 where length(手机) is null and 部门 like '%$i%' into outfile '/var/lib/mysql-files/$i.xls' character set gbk;"` #每个部门手机号为空的用户
tel_numbe_null=`$MySQL -e "use db0;select count(*) from x190927 where length(手机) is null and 部门 like '%$i%';"`
echo $tel_numbe_null >> tmp.txt
echo -e "\033[1;3;32m$i的统计人数为:\033[0m"
echo -e "\033[1;3;33m$tel_numbe_null\033[0m" 2>/dev/null
done
} function Summation(){
Accumulate=0
total=`cat tmp.txt|awk '{print $2}'`
for n in $total
do
let Accumulate+=$n
done
echo -e "\033[1;3;34m无手机号的注册总人数为:\n $Accumulate \033[0m"
} statistics
Summation
rm -rf /root/script/tmp.txt

这里面要注意几个知识点:

1.>导出的excel文件保存在 /var/lib/mysql-files/ 目录中,mysql安全方面的要求.

2. >sql 的 length函数,用来判断字段列的长度的,count函数用来求和的.

3.>注意设置excel的字符集,不然导出后打开会乱码 ,这里设置的是  character set gbk;

3.由于使用上面导出excel表没有列名,看起来不是很友好,示例三就讲解导出的表格中也带有列名

sql模板:(这样导出后就会有姓名、账号、手机号、部门的列名称,主要熟悉写法和后面的字段含有.)

select * from (
select '姓名' as 姓名,'帐号' as 帐号,'手机号' as 手机号,'部门' as 部门
union all
select 姓名,帐号,手机,部门 from x190927 where length(手机) is null and 部门 like '%北京市%'
) a into outfile '/var/lib/mysql-files/888.xls' character set gbk
fields terminated by '\t'
OPTIONALLY ENCLOSED BY '"'
lines terminated by '\n';

示例脚本:

#!/bin/bash
########################################
#统计各省市注册用户电话为空的用户
######################################## MySQL="mysql --defaults-extra-file=/etc/my.cnf"
/usr/bin/rm -rf /var/lib/mysql-files/* function statistics()
{
for i in $(cat memberlist.txt |awk '{print $1}')
do result=`$MySQL -e "use db0; select * from (select '姓名' as 姓名,'帐号' as 帐号,'手机号' as 手机号,'部门' as 部门 union all select 姓名,帐号,手机,部门 from x190927 where length(手机) is null and 部门 like '%$i%') a into outfile '/var/lib/mysql-files/$i.xls' character set gbk fields terminated by '\t' lines terminated by '\n';"` #每个部门手机号为空的用户
tel_numbe_null=`$MySQL -e "use db0;select count(*) from x190927 where length(手机) is null and 部门 like '%$i%';"`
echo $tel_numbe_null >> tmp.txt
echo -e "\033[1;3;32m$i的统计人数为:\033[0m"
echo -e "\033[1;3;33m$tel_numbe_null\033[0m" 2>/dev/null
done
} function Summation(){
Accumulate=0
total=`cat tmp.txt|awk '{print $2}'`
for n in $total
do
let Accumulate+=$n
done
echo -e "\033[1;3;34m无手机号的注册总人数为:\n $Accumulate \033[0m"
} statistics
Summation
rm -rf /root/script/tmp.txt

将excel文件导出到/var/lib/mysql-files目录中,好像需要在/etc/my.cnf中设置如下参数.

cat /etc/my.cnf
[mysqld]
validate_password=off #关闭密码安全策略
default_password_lifetime= #设置密码不过期

这就是自己在写脚本中掌握和遇到的,记录下以便于以后使用.

我在导入excel刚开始时,数据量在几万条导入数据库没问题,但是excel数据在10多万条时导入显示成功,但数据库里面就几千条数据,查原因查了半天也没解决,最后只能将excel转换成txt格式的导入数据库,导入txt文档是注意编码格式.

MySQL 中操作excel表格总结的更多相关文章

  1. MySQL中导入Excel表格中的数据

    在数据库中建立好响应的数据库.表(参考excel表格中列中的名字和内容): 将excel表格另存为txt文件,选择“文本文件(制表符分割)”: 打开相应的txt文件,只留下要导入的数据(windows ...

  2. qt 操作excel表格

     自己编写的一个Qt C++类,用于操作excel表格,在Qt中操作excel需在.pro中增加CONFIG+=qaxcontainer配置. 1.打开Excel:objExcel = new QAx ...

  3. 【转】python操作excel表格(xlrd/xlwt)

    [转]python操作excel表格(xlrd/xlwt) 最近遇到一个情景,就是定期生成并发送服务器使用情况报表,按照不同维度统计,涉及python对excel的操作,上网搜罗了一番,大多大同小异, ...

  4. 用NPOI、C#操作Excel表格生成班级成绩单

    在C#中利用NPOI操作Excel表格非常方便,几乎上支持所有的Excel表格本身所有的功能,如字体设置.颜色设置.单元格合并.数值计算.页眉页脚等等. 这里准备使用NPOI生成一个班级成绩单Exce ...

  5. 转载:python操作excel表格(xlrd/xlwt)

    python操作excel表格(xlrd/xlwt)   最近遇到一个情景,就是定期生成并发送服务器使用情况报表,按照不同维度统计,涉及python对excel的操作,上网搜罗了一番,大多大同小异,而 ...

  6. 使用Java操作Excel表格

    目录 一.配置第三方库 二.使用Apache POI API 1. 打开Excel文件 2. 选择对应的sheet 3. Sheet接口的基本使用 3.1 获取开头行和结束行 3.2 获取Row对象 ...

  7. j2e中操作EXCEL

    在j2e中操作excel,无非2种情况,在这里我贴部分代码做个例子就OK,不管是导入和导出都是操作的都是流 1,导入,浏览器输入EXCEL到java后台解析 package action; impor ...

  8. Python 利用Python操作excel表格之openyxl介绍Part2

    利用Python操作excel表格之openyxl介绍 by:授客 QQ:1033553122 欢迎加入全国软件测试交流qq群(群号:7156436) ## 绘图 c = LineChart()    ...

  9. Python 利用Python操作excel表格之openyxl介绍Part1

    利用Python操作excel表格之openyxl介绍 by:授客 QQ:1033553122 欢迎加入全国软件测试交流qq群(群号:7156436),免费获取以下性能监控工具(类似Nmon精简版) ...

随机推荐

  1. 玩转淘宝SVN

    http://guojun2sq.blog.163.com/blog/static/64330861201492965059142/(参考) 三步走: 1.注册账号http://code.taobao ...

  2. Artificial Intelligence in Finance

    https://sigmoidal.io/real-applications-of-ai-in-finance/ Artificial Intelligence is taking the finan ...

  3. js 加载并解析Markdown文档

    网上有很多网站会通过.md文档来做页面内容(比如,阮一峰老师的es6入门blog: http://es6.ruanyifeng.com/),很好奇,这是怎么做的?(至于.md是什么,或许(https: ...

  4. 组件注册-自定义TypeFilter指定过滤规则

    组件注册-自定义TypeFilter指定过滤规则 4.1 FilterType.ANNOTATION 按照注解方式 4.2 FilterType.ASSIGNABLE_TYPE 按照给定的类型 @Co ...

  5. Hello 2019 F 莫比乌斯反演 + bitset

    https://codeforces.com/contest/1097/problem/F 题意 有n个多重集,q次询问,4种询问 1. 将第x个多重集置为v 2. 将第y和z多重集进行并操作,并赋值 ...

  6. k8s学习路线

    1. 核心概念说明 http://dockone.io/article/932 https://www.centos.bz/2017/08/k8s-kubernetes-architecture-di ...

  7. 2018-2019-2 20162329 《网络对抗技术》Exp7: 网络欺诈防范

    目录 Exp7: 网络欺诈防范 一. 基础问题回答 1. 通常在什么场景下容易受到DNS spoof攻击 二. 实验过程 1. 简单应用SET工具建立冒名网站 2. ettercap DNS spoo ...

  8. Zuul的高级使用

    原文链接:https://blog.csdn.net/u011820505/article/details/79373594

  9. SyntaxError: Non-UTF-8 code starting with '\xc1'

    问题描述: 运行Python脚本,报错了:SyntaxError: Non-UTF-8 code starting with '\xc1' 不是不支持中文,是脚本的编码格式设置不正确. 在python ...

  10. Oracle体系结构学习笔记

    Oracle体系结构由实例和一组数据文件组成,实例由SGA内存区,SGA意思是共享内存区,由share pool(共享池).data buffer(数据缓冲区).log buffer(日志缓冲区)组成 ...