通过PHP代码将大量数据插入到Sqlite3
PHP代码
读入txt文件,并写入到sqlite数据库里
<?php
date_default_timezone_set('PRC');
$pdo = new PDO('sqlite:db/qq71e.sqlite3');
$sql = array();
$sql[] = 'CREATE TABLE qq(qq text,mobile text)';
//$sql[] = 'CREATE INDEX idx_qq_qq ON qq(qq)';
//$sql[] = 'CREATE INDEX idx_qq_mobile ON qq(mobile)';
foreach ($sql as $sqlOne) {
$pdo->query($sqlOne);
}
$f = fopen('db/qq71e.txt', 'r');
$i = 0;
echo date('Y-m-d H:i:s') . "\t" . $i . "\r\n";
$pdo->query('BEGIN');
$sql = "INSERT INTO qq(qq,mobile)VALUES(:qq, :mobile)";
$sth = $pdo->prepare($sql);
while (!feof($f)) {
if ($i % 1000000 === 0) {
echo date('Y-m-d H:i:s') . "\t" . $i . " ... ";
$pdo->query('COMMIT');
echo "[OK]\r\n";
$pdo->query('BEGIN');
}
$line = func1(fgets($f));
if ($line == '') continue;
$row = explode('----', $line);
$i++;
$data = array();
$data[':qq'] = $row[0];
$data[':mobile'] = isset($row[1]) ? $row[1] : '';
$sth->execute($data);
}
function func1($str) {
$str = trim($str . "\r");
$str = trim($str . "\n");
return $str;
}
$pdo->query('COMMIT');
echo date('Y-m-d H:i:s') . "\t" . $i . "\r\n";
下面是查询数据是否有异常
<?php
date_default_timezone_set('PRC');
$pdo = new PDO('sqlite:db/qq71e.sqlite3');
$sql = 'SELECT * FROM qq LIMIT 10';
//$sql = 'SELECT * FROM qq WHERE qq LIKE :qq LIMIT 10';
$sth = $pdo->prepare($sql);
$param = array();
//$param[':qq'] = '30%';
$sth->execute($param);
$result = $sth->fetchAll(PDO::FETCH_ASSOC);
print_r($result);
还需要创建个索引来加快查询速度
通过PHP代码将大量数据插入到Sqlite3的更多相关文章
- MySql中把一个表的数据插入到另一个表中的实现代码
web开发中,我们经常需要将一个表的数据插入到另外一个表,有时还需要指定导入字段,设置只需要导入目标表中不存在的记录,虽然这些都可以在程序中拆分成简单sql来实现,但是用一个sql的话,会节省大量代码 ...
- 通过python代码连接MySQL以及插入和显示数据
通过python代码连接MySQL以及插入和显示数据: 数据库huahui创建一个shibie的表,里面有两个varcahr(100)的字段,num和result. import pymysql im ...
- EF CodeFirs 代码迁移、数据迁移
最近悟出来一个道理,在这儿分享给大家:学历代表你的过去,能力代表你的现在,学习代表你的将来. 十年河东十年河西,莫欺少年穷 学无止境,精益求精 标题叫EF CodeFirs 代码迁移.数据迁移. ...
- 导入excle数据将excle数据插入到数据库
实现功能是,用户可以直接导入对应数据,或者用户下载模板,填写数据,导入模板数据.easyui实现 前台页面 { text : '日清导入', iconCls : 'icon-print', handl ...
- 定时从远程的数据库中取数据,然后把取出来的数据插入或更新本地的oracle数据库的表
最近项目中有一种需求: 大致需求是这样的 通过给定的 用户名和密码 要定时从远程的数据库中取数据,然后把取出来的数据插入或更新本地的oracle数据库的表 项目的结构式struts1 hibernat ...
- DataGridView绑定数据库,取得的数据插入到DataGridView指定列(一)
实现: 点击button1,从数据库中获得数据,指定数据库的某列数据插入到DataGridView指定列 一.双击button1进入事件代码 private void button1_Click(ob ...
- .NET批量大数据插入性能分析及比较
数据插入使用了以下几种方式 1. 逐条数据插入2. 拼接sql语句批量插入3. 拼接sql语句并使用Transaction4. 拼接sql语句并使用SqlTransaction5. 使用DataAda ...
- Ajax实现xml文件数据插入数据库(二)--- ajax实现与jsp的数据交互。
在上一篇文章中我们成功得到了重新组织后的数据,接下来需要做的便是将数据插入到数据库中了.在与数据库打交道的过程中有一些方法是普遍的,我们将这些通用方法封装到一个DbUtil类中,以便复用,封装好的Db ...
- Sql Server数据库使用触发器和sqlbulkcopy大批量数据插入更新
需要了解的知识 1.触发器 2.sqlbulkcopy 我的用途 开发数据库同步的工具,需要大批量数据插入和数据更新. 方式 使用SqlBulkCopy类对数据进行数据批量复制,将需要同步数据的表新建 ...
随机推荐
- Luogu P43916 图的遍历
我们把"u点能够到达的最大点"转化为反向图中能到达u点的所有点里的最大值,可知缩点后满足无后效性.val[i]的初值设为连通分量i中的最大点.反向存图,tarjan缩点,拓扑序dp ...
- 蓝桥杯——Java集合练习题
回文数.维密.约瑟夫环 回文数 问题描述: 123321是一个非常特殊的数,它从左边读和从右边读是一样的.输入一个正整数n, 编程求所有这样的五位和六位十进制数,满足各位数字之和等于n. 输入格式: ...
- MacOS Big Sur11.0升级后Eclipse启动报错
本次升级MacOS Big Sur11.0.1之后,开启Eclipse时报空指针,打开页面空白,之后卸掉, 再次安装时提示加载不到libserver.dylib 或 Could not create ...
- 【五校联考1day2】JZOJ2020年8月12日提高组T2 我想大声告诉你
[五校联考1day2]JZOJ2020年8月12日提高组T2 我想大声告诉你 题目 Description 因为小Y 是知名的白富美,所以自然也有很多的追求者,这一天这些追求者打算进行一次游戏来踢出一 ...
- MySQL错误日志(Error Log)
错误日志是一个文本文件,记录了 MySQL Server 每次启动和关闭的详细信息以及运行过程中所有较为严重的警告和错误信息.在遇到问题时,应该首先查看这个文件. 如何开启 使用命令 SHOW VAR ...
- 如何自动化你的Excel导入导出(Java)?
GitHub | 中文 | English | 博客 为什么使用AutoExcel? Excel导入导出在软件开发中非常常见,只要你接触过开发,就一定会遇到.相信很多人会跟我一样选择用Apache P ...
- iNeuOS工业互联平台,WEB组态(iNeuView)图元和数据点组合及生成新图元复用,实现拖业务
目 录 1. 概述... 1 2. 平台演示... 2 3. 应用过程... 2 1. 概述 iNeuView视图建模Web组态平台实现图元和数据点组合及 ...
- PyQt(Python+Qt)学习随笔:QTabWidget部件信号简介
老猿Python博文目录 专栏:使用PyQt开发图形界面Python应用 老猿Python博客地址 QTabWidget自身提供的信号包括如下: currentChanged(int index):每 ...
- PyQt(Python+Qt)学习随笔:QTreeWidget中标题相关属性访问方法headerItem、setHeaderLabels
老猿Python博文目录 专栏:使用PyQt开发图形界面Python应用 老猿Python博客地址 树型部件窗口可以有一个标题头,其中包含部件中每个列的节(即标题).QTreeWidget的标题属性包 ...
- linux 复制文件前n行到另外一个文件
head -n 100 train.txt > 123.txt head -100 train.txt > 123.txt