结合pandas,sqlite3批量将csv数据导入sqlite数据库
import sqlite3
import pandas as pd
conn=sqlite3.connect(r'demo.db')
c=conn.cursor()
创建新表
c.execute("""
CREATE TABLE equipments (
ID integer primary key autoincrement,
设备状态 text,
设备编码 text,
设备名称 text,
资产编码 text,
所属科目 text,
科目名称 text,
规格型号 text,
出厂日期 text,
出厂编号 text,
验收日期 text,
初次调用 text,
设备原值 text,
借用人 text,
借用办公室 text,
借用科组 text,
借用日期 text,
借用凭证 text)
""")
现在有海量数据存储在csv上,如果我们选择也用python脚本将它批量写入db文件:
s=pd.read_csv('file/demo.csv',encoding='gbk') # 有中文的要解码
dataN,paraN=s.shape
ques='('+'?,'*(paraN-1)+'?)' #cursor.execute中的动态参数表示
for i in range(dataN):
a=s.iloc[i].values
b=a[1:]
t=[int(a[0])]+a[1:]# a的第一个是ID,必须是integer类型,而pd读取的都是string,所以要进行转换
c.execute('insert into equipments values '+ques,t)
最后用HeidiSql查询,导入ok
****附:
python sqlite3查看所有表名和表结构:
select name from sqlite_master where type='table' order by name;
结合pandas,sqlite3批量将csv数据导入sqlite数据库的更多相关文章
- excel数据导入SQLite数据库
参考:http://blog.baisi.net/?110653/viewspace-6725 1.excel表中最上面一行的字段名留着,留着以后导入的时候对应. 2.保存成csv格式,在选择文件类型 ...
- xls数据导入sqlite数据库
protected void btn_ok_Click(object sender, EventArgs e) { try { st ...
- 解析csv数据导入mysql的方法
mysql自己有个csv引擎,可以通过这个引擎来实现将csv中的数据导入到mysql数据库中,并且速度比通过php或是python写的批处理程序快的多. 具体的实现代码示例: 代码如下: load d ...
- 【已解决】csv数据导入sql by sqlyog 乱码+无法导入导入步骤分析等总结
csv数据导入sql 用sqlyog工具 首先是创建一个数据库 --> 然后右键点击数据库->选择创建表 ->表名自己写,让在引擎这里选择csv 然后注意 把非空都勾选了!不然会报错 ...
- 将Excel数据导入mysql数据库的几种方法
将Excel数据导入mysql数据库的几种方法 “我的面试感悟”有奖征文大赛结果揭晓! 前几天需要将Excel表格中的数据导入到mysql数据库中,在网上查了半天,研究了半天,总结出以下几种方法,下面 ...
- jsp+servlet上传excel并将数据导入到数据库表的实现方法
<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding= ...
- 把Excel数据导入到数据库
引入命名空间 using System.IO; using System.Data; using System.Data.OleDb; 引入命名空间 首先要把Excel上传到服务器 //上传Excel ...
- 利用TOAD实现把EXCEL数据导入oracle数据库
利用TOAD实现把EXCEL数据导入oracle数据库 工具: Toad11.7z(百度搜索,直接下载) 1.将Excel文件中某些字段导入到Oracle数据库的对应表 连接想要导入的数据库 ,然 ...
- c#将Excel数据导入到数据库的实现代码
这篇文章主要介绍了c#将Excel数据导入到数据库的实现代码,有需要的朋友可以参考一下 假如Excel中的数据如下: 数据库建表如下: 其中Id为自增字段: 代码: 代码如下: using Syste ...
- C# DateTime的11种构造函数 [Abp 源码分析]十五、自动审计记录 .Net 登陆的时候添加验证码 使用Topshelf开发Windows服务、记录日志 日常杂记——C#验证码 c#_生成图片式验证码 C# 利用SharpZipLib生成压缩包 Sql2012如何将远程服务器数据库及表、表结构、表数据导入本地数据库
C# DateTime的11种构造函数 别的也不多说没直接贴代码 using System; using System.Collections.Generic; using System.Glob ...
随机推荐
- QT5笔记:34. 视口和窗口
 例子: void Widget::paintEvent(QP ...
- IDEA - 文件上方的文档注释如何自定义
1.在设置中打开文件和代码模板,根据描述中的参考信息进行自定义配置 File > Settings > Editor > File and Code Templates 2.配置完成 ...
- Windows上安装MySQL详细教程
1.MySQL简介 MySQL是最流行的关系型数据库管理系统,在WEB应用方面MySQL是最好的RDBMS(Relational Database Management System:关系数据库管理系 ...
- linux系统测试磁盘IO速度 - fio使用
****** 很重要 很有用 很牛逼 的linux下的测试磁盘io速度的脚本 1 安装工具库 安装fio 首先,你需要安装fio.在不同的Linux发行版中,安装方法可能有所不同. fio可以通过命令 ...
- AI 智能体引爆开源社区「GitHub 热点速览」
最近很火的 Manus 智能体是一款将你的想法转化为行动的工具,能够处理生活中的各种任务.一经发布便迅速走红,并间接引爆了开源社区. 这也导致上榜的全是 AI 智能体开源项目,比如无需邀请码的开源版 ...
- linux安装python centos
下载安装包 可以到官网 ftp 地址,复制指定 python 版本源码安装包下载链接 https://www.python.org/ftp/python/ 或者到官网 downloads, 复制指定 ...
- 漫画赏析:Linux 内核到底长啥样
今天,我来为大家解读一幅来自 TurnOff.us 的漫画 "InSide The Linux Kernel" . TurnOff.us 是一个极客漫画网站,作者Daniel St ...
- MySQL 8.0 误删了root用户怎么办
MySQL 8.0 误删了root用户怎么办 修改配置文件 修改配置文件,让其可以无账号登录 默认的文件为: /etc/my.cnf 添加:skip-grant-tables 重启服务 service ...
- Django实战项目-学习任务系统-配置定时调度任务
接着上期代码内容,继续完善优化系统功能. 本次增加配置定时调度任务功能,学习任务系统定时任务管理添加的定时学习任务,需要通过配置调度任务,定时发布周期性的学习任务. 以及每天定时发送学生用户属性值,积 ...
- 舵机SG90详解
舵机,也叫伺服电机,在嵌入式开发中,舵机作为一种常见的运动控制组件,具有广泛的应用.其中,SG90 舵机以其高效.稳定的性能特点,成为了许多工程师和爱好者的首选,无论是航模.云台.机器人.智能小车中都 ...