在项目中,经常会碰到往数据库中导入大量数据,以便利用sql进行数据分析.在导入数据的过程中会碰到一些需要解决的问题,这里结合导入一个大约4G的txt数据的实践,把碰到的问题以及解决方法展现出来,一方面自己做个总结记录,另一方面希望对那些碰到相同问题的朋友有个参考. 我导入的数据是百科的txt文件,文件大小有4G多,数据有6500万余条,每条数据通过换行符分隔.每条数据包含三个字段,字段之间通过Tab分隔.将数据取出来的方法我采用的是用一个TripleData类来存放这三个字段,字段都用Strin

在Windows操作系统下,使用命令行将已经创建好的txt文件导入到mysql的pet表中. 出现ERROR 1148 (42000): The used command is not allowed with this MySQL version. 输入命令:show variables like 'local_infile';  显示 local_infile是关闭的,输入语句:set global local_infile=ON; 将local_infile打开.(如果报错,无法修改,则需

一.首先先说一下我们都需要建立那些表 mysql> CREATE TABLE IF NOT EXISTS `student`( -> `sno` CHAR(8) NOT NULL, -> `sname` CHAR(4) NOT NULL, -> `ssex` enum('男','女') not null default '男', -> `sage` INT, -> `sdept` CHAR(10), -> PRIMARY KEY ( `sno` ) -> )

2018年4月21日 14:36:42 https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-11.html#mysqld-8-0-11-bug 这个是这个已经发布的,注意本文时间 字符集支持 在将来的MySQL版本中,utf8mb3字符集将被utf8mb4所取代. utf8字符集目前是utf8mb3的别名,但在此时会成为对utf8mb4的引用. 为了避免utf8含义的歧义,请考虑为字符集引用而不是utf8显式指定utf8mb4 编译说

springboot2.x已经发布一段时间,博主在这里使用springboot2.1.7整合mybatis3.5.2,使用的数据库为mysql8.0.13 1. 导入依赖 <!--mysql--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.13</version>

mysql8.0.17复制搭建及其gtid的1062和1032异常 参考资料: https://blog.csdn.net/wzy0623/article/details/91982743https://blog.51cto.com/20131104/2397443 # 附录 附录:mysql参数sql_log_bin配置 如果想在主库上执行一些操作,但不复制到slave库上,可以通过修改参数sql_log_bin来实现. 比如说,模拟主从同步复制异常. -- 在从库上执行 mysql;#设为0

一台几年前的旧笔记本电脑的虚拟系统运行环境,作为本次实践的运行工具,仅供参考. 案例环境:Linux.Docker.MySQLCommunity8.0.31.InnoDB. 过早的MySQL版本不一定适用本章内容,仅围绕 InnoDB 引擎的阐述. 一.索引 1.1 索引的管理 -- create 方式创建 create [unique] index {index_name} on {tab_name}({col_name}[(length)]); -- alter表 方式创建 alter {t

目录: (一)基础准备 (二)安装node (三)安装nginx (四)安装mySql8.0 (五)整体配置 (六)安装PM2守护进程 (一)基础准备1.1 概述 服务器操作系统为 centos7.4,目的是配置nodejs服务器,用于微信小程序的服务端. 1.2 名词 1. putty : 远程连接linux服务器命令行的工具,如果你在服务器旁边就无需使用了. 本文用于登陆到服务器执行配置命令. 2. FileZilla : 远程连接linux服务器可视化上传文件的工具. 本文用于上传网站文件

前言 在MySQL8.0之前的版本中,由于架构的原因,mysql在server层使用统一的frm文件来存储表元数据信息,这个信息能够被不同的存储引擎识别.而实际上innodb本身也存储有元数据信息.这给ddl带来了一定的挑战,因为这种架构无法做到ddl的原子化,我们在线上经常能够看到数据目录下遗留的临时文件,或者类似server层和innodb层列个数不一致之类的错误.甚至某些ddl可能还遗留元数据在innodb内,而丢失了frm,导致无法重建表…..(我们为了解决这个问题,实现了一个叫drop

1.前言 [Linux][MySQL]CentOS7安装最新版MySQL8.0.13(最新版MySQL从安装到运行) 专治各种忘词,各种水土不服. - -,就是一个健忘贵的速查表:(当然不包括SQL的基础语句啥的) 2.MySQL开始 -- 登录sys数据库 mysql -u root -proot sys -- 查看所有的数据库 select database() -- 查看数据库 show databases; -- 模糊查询包含y的数据库 show databases like '%y%'

1.前言 框框博客在线报时:2018-11-07 19:31:06 当前MySQL最新版本:8.0.13 (听说比5.7快2倍) 官方之前表示:MySQL 8.0 正式版 8.0.11 已发布,MySQL 8 要比 MySQL 5.7 快 2 倍,还带来了大量的改进和更快的性能! 开源中国介绍文档:MySQL 8.0 正式版 8.0.11 发布:比 MySQL 5.7 快 2 倍 2.开始 1.我的设备介绍 服务器:2018-11-06 新购置 的 阿里云CentOS7 服务器: 系统镜像采用阿

一.安装 1.从网上下载MySQL8.0.12版本,下载地址:https://dev.mysql.com/downloads/mysql/ 2. 下载完成后解压 我解压的路径是:D:\Java\mysql-8.0.12-winx64 3. 配置文件 首先在解压的路径下查看是否含有my.ini的文件,如果没有则新建一个,内容如下: [mysqld] # 设置3306端口 port= # 设置mysql的安装目录 basedir=D:\Program Files\MySQL # 设置mysql数据库

一.实验准备: 1.实验设备:Dell laptop 7559; 2.实验环境:windows 10操作系统; 3.数据库版本:mysql 8.0; 二.实验目的: 1.将一个宠物表pet.txt文件导入数据库; 2.掌握使用查看和修改mysql文件操作的全局变量 三.实验步骤: 1.用cmd登录root权限的sql服务器(由于mysql8.0在Windows10上,安全权限问题,普通用户权限无法成功导入文件或进行文件操作.反复查询了各大技术网站也未能成功实现.) 所以命令如下:   以上结果即

原文链接:https://mp.weixin.qq.com/s?__biz=MzI4Njg5MDA5NA==&mid=2247483779&idx=1&sn=e23e68e96123b9e218c95f808b8a8237&scene=19#wechat_redirect 前言:在讲解Web开发模式的时候,曾经写过XML版的用户登陆注册案例!现在在原有的项目上,使用数据库版来完成用户的登陆注册! 本来使用的是XML文件作为小型数据库,现在使用Mysql数据库,代码究竟要改多

一.下载 官网地址: https://dev.mysql.com/downloads/mysql/ 选择:macOS 10.14 (x86, 64-bit), Compressed TAR Archive 下载后,得到一个131.9m的压缩包 mysql-8.0.13-macos10.14-x86_64.tar.gz,将其解压到/usr/local/下,并重命名为mysql (即:最后的完整目录应该是/usr/local/mysql) 二.调整目录权限 cd /usr/localchown -R

[背景] 索引的重要是在些不表.在这里我想说的另一个问题:索引和数据一样在innodb中都是以page的形式来组织的,那么问题就来了. 比如果说索引 ix_person_name 的内容只要8个页面就能完整的保存下来,如果这个时候一条insert语句来了,由于索引的8个 页面都是满的.我们只能在新的页面中保存这条insert(所插入数据)的索引. 1): 如果insert插入数据的索引值比当前的都要大或是都要小,那么新的索引页面只要加入到列表的尾部或首部就行了,这两种情况 相对来说还是比较“廉价

1.下载MySQL Community 版本:8.0.11,本次例子是以dmg安装的方式,下载的文件名为:mysql-8.0.11-macos10.13-x86_64.dmg 下载地址:https://dev.mysql.com/downloads/mysql/  下载需要自己登录oracle账号 2.下载后双击安装,安装的时候指设置下mysql root密码 3.用工具链接mysql,如果出现提示: Authentication plugin 'caching_sha2_password' c

目前最新的Mysql8.0 + Navicat12,使用中常有一些棘手问题 解决了的都会贴出来,受益于小伙伴们 我们的目标是发现问题,解决问题,欢迎大家贴出自己使用时遇到的问题,集思广益 好了,上干货!(努力续更中...) 配置使用日志 问题一: 安装完毕后,首要任务就是能连接的上 Navicat12 连接不上 MySQL8.0,总是报错1251: 原因是MySQL8.0版本的加密方式和MySQL5.0的不一样,连接会报错. 解决:更改加密方式为mysql_native_password alt

本文主要介绍了阿里云CentOS7如何安装MySql8.0,并对所踩的坑加以记录; 环境.工具.准备工作 服务器:阿里云CentOS 7.4.1708版本; 客户端:Windows 10; SFTP客户端:FileZilla;用来进行文件传输; SSH工具:Putty;用来在Windows 上远程访问CentOS; 下载文件; 因为最新的CentOS7放弃了对MySQL的支持,所以需要我们到MySql官网下载mysql的repo源(官方地址)默认下载第一个就行; 开始安装MySql8.0 1.环

1.下载Mysql8.0.12压缩包.下载地址:https://dev.mysql.com/downloads/file/?id=480557 2.解压文件到本地指定目录.这里我的mysql根目录是:E:\Mysql\mysql-8.0.12-winx64 3.打开记事本,将下面内容粘贴进去,然后放在根目录下,保存为my.ini [mysql] # 设置mysql客户端默认字符集 default-character-set=utf8 [mysqld] #设置3306端口 port = # 设置m

之前讲配置文件和权限的时候有很多MySQL8的知识,有同志说安装不太一样,希望发个文,我这边简单演示一下 1.环境安装 下载MySQL提供的CentOS7的yum源 官方文档:<https://dev.mysql.com/doc/refman/8.0/en/> 过程中有不太懂的可以看我之前写的这篇文章:<http://www.cnblogs.com/dotnetcrazy/p/9887708.html> 地址:https://dev.mysql.com/downloads/repo