首先描述下问题:

    在使用python计算出结果后将结果插入到mysql过程中,报如下错误。原因很好定位就是编码的问题。那么到底是编码哪里出了问题了呢?

报错如上:

排查顺序:

第一:python的编码

自己的代码,发现打开的时候的确已经制定了编码?那么问题应该不是在python的编码问题。

同时采用:

打印出word[5] 又发现会报错 ASCii 不识别等错误。于是再这里纠结了很久很久。终于把打印问题解决了。

解决办法:如果要打印出正常的中文,在程序开头加上这么一段代码 即可:

python 脚本
import io
import sys
from urllib.request import urlopen
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')  

注意:上面的代码,仅仅能解决在打印的时候打印出中文。

如果没有上面的代码,会报如下错误:

python报错代码:
Traceback (most recent call last):
File "/data/codes/run.py", line 46, in <module>
pre(sys.argv[2], sys.argv[3], sys.argv[4], clean_run=False, **optional)
File "/data/codes/matrix/preprocess.py", line 30, in pre
preprocess(job.input_file(), timestamp)
File "/data/codes/matrix/job/preprocess.py", line 23, in preprocess
for record in load_data(filename):
File "/data/codes/matrix/data/DataLoader.py", line 75, in load_data
print(words[3])
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)  

总之:你会发现不是python的错误,而应该是插入到mysql里面发生了错误,那么我们去找mysql的编码问题问题。

第二:Mysql数据库的编码

我们都知道,mysql编码的时候默认是 lati1编码。但是更多时候我们会把他换成utf-8。

于是普遍的,我们在建完数据库,会做编码的修改,例如:

mysql代码:
set character_set_client=utf8;
set character_set_results=utf8;
set character_set_connection=utf8;
set character_set_database=utf8;   

但是,我想很郑重的告诉你,你以为这样就真的万事大吉了,你以为这样再出现问题就不是mysql的问题了。

你会想,我都设置成了 utf-8 还会出现什么问题呢?

接下来我们看看,设置完上面之后我的数据库中的的一个表

看到么?里面的表的编码还是latin1。

于是,我们得出结论是,如果你在建立表之后才修改myslq 的编码,那么原来建的边的编码不会发生变化。要让其变化必须进行更加确切的编码指定,例如用下面的语句

mysql代码:
alter table BETWEENNESS  character set utf8;·  

这个时候你可能会认为这样就完成了,but,python的运行下,错误仍然会继续报错。

我们这个时候再看看数据库表的编码类型:

恶心不恶心,你把表的编码都改好了,却发现字段的编码还是默认的Latin1。亲爱的latin1你是有多么的爱我,舍不得我。

从上面的报错,我们能看到,主要原因是我的 ‘semantic’字段报的错。

于是下面这个代码解决了问题:

mysql代码:
alter database matrix character set utf8;
alter table BETWEENNESS change semantic semantic varchar(32) character set utf8 not null;
alter table BETWEENNESS character set utf8;

  

直到这个时候,问题彻底解决了。latin1终于不见了。

总结: 在你需要的数据库建立之前就将所有的编码都设置mysql 代码

set character_set_client=utf8;
set character_set_results=utf8;
set character_set_connection=utf8;
set character_set_database=utf8;
  

一旦你已经在为做任何编码改动的时候把表和数据库已经建立好的话,那么执行上面的代码后,前面建立的表的各种编码似乎改变好像要看运气,哈哈。严格的说不是运气,我对数据库不是很熟悉,所以不知道具体原因。

但是一旦你发生了上面的问题。就是先建立了数据库和表,需要更改编码的时候。请将以前建立的数据库和表,通过确切的具体的方式把他们的编码修改过来。

例如:

alter table <表名> character set utf8;
alter table <表名> change <字段名> <字段名> <类型> character set utf8;
alter table user change username username varchar(20) character set utf8 not null;

分享一个关于改变mysql'编码的文章:http://www.cnblogs.com/shootercheng/p/5836657.html

-----------------------------------------------------------------------------华丽丽的分割线------------------------------------------------------------------------------------------------------------

说说感想:

    这个小的问题,我折腾了两天,感觉有一肚子的气要说出来,真正写出来的时候觉得问题就是那么简单,高手也许半个小时就解决了,只是觉得自己很笨。

第一天和第二天的一半时间都以为是python的问题,在找各种python编码转中文的问题,感觉百度的文章都被我找遍了。找的过程中还考虑了python版本的问题,发现有些函数在2.7使用,3.5就不适用了。例如下面的代码:

import sys
reload(sys)
sys.setdefaultencoding('utf8')   

3.5版本的会告诉你 不认识reload函数

回到前面,如果要打印中文就加上如下脚本

python 脚本
import io
import sys
from urllib.request import urlopen
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')   

如果读文就加上:

 open(filename, 'r', encoding="utf8") as reader:

我们再回到mysql编码:

总之还是要细心,当python和mysql对接的时候请注意检查:

  

  1. 确保数据库编码为 `utf-8`
2. 确保数据库表的编码为`utf-8`
3. 确保数据库字段编码为 `utf-8`
4.程序连接数据库指定编码:`MySQLdb.connect("localhost","root","***","Data",charset='utf8')`
5.文本的编码问题也应该统一。
参考网址:http://blog.csdn.net/shomy_liu/article/details/47681893

关键词“细心”。

如何解决python连接数据库编码问题(python传数据到mysql乱码)'ascii' codec can't encode _mysql_exceptions.OperationalError: (1366, "Incorrect string value:?的更多相关文章

  1. python报OperationalError: (1366, "Incorrect string value..."的问题解决

    一.环境及问题描述 1. 环境 操作系统:win10,64bit. python版本:2.7.15 mysql版本:5.7.23 2. 问题描述 使用python从某个数据文件读取数据,处理后,用My ...

  2. 转 Python——UnicodeEncodeError: 'ascii' codec can't encode/decode characters

    转自: http://blog.csdn.net/zuyi532/article/details/8851316 我是写爬虫的时候遇到的问题,百度了一下,先贴解决方案: 在代码中加入: import ...

  3. MySQL:1366 - Incorrect string value错误解决办法

    今天使用navicat向MySQL中插入中文时,报错: - Incorrect string value:... 在我自己数据库设计之初,没有设计好字符编码格式的问题. 使用如下语句解决: alter ...

  4. python 编码报错问题 'ascii' codec can't encode characters 解决方法

    python在安装时,默认的编码是ascii, 当程序中出现非ascii编码时,python的处理常常会报这样的错 'ascii' codec can't encode characters pyth ...

  5. 解决python编码问题报错:'ascii' codec can't encode characters in position 0-15: ordinal not in range(128)

    这个问题很奇怪,在服务器上执行一个写数据库的python文件,正常执行,但是使用java的ssh进行调用脚本,发现就是不执行数据库的写入,然后使用了try except的方式,打印了错误信息,发现报错 ...

  6. [转]Python UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 的解决办法

    UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 的解决办法 python在安装时,默认的编码是ascii,当 ...

  7. python 编码问题:'ascii' codec can't encode characters in position 的解决方案

    报错: 'ascii' codec can't encode characters in position 8-50: ordinal not in range(128) Python在安装时,默认的 ...

  8. Python编码问题:UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(12

    今天安装了PyScripter编辑器,刚要写代码,突然就出现异常: <span style="font-size:14px;color:#ff0000;">>&g ...

  9. Python 排错UnicodeEncodeError 'ascii' codec can't encode character 错误解决方法

    Python UnicodeEncodeError 'ascii' codec can't encode character 错误解决方法   by:授客 QQ:1033553122 错误描述: py ...

随机推荐

  1. Linux命令一览

    Linux系统中的命令参数有长短格式之分,长格式和长格式之间不能合并,长格式和短格式之间也不能合并,但短格式和短格式之间是可以合并的,合并后仅保留一个-(减号)即可. echo命令:用于在终端输出字符 ...

  2. app的描述-软件的描述

    app的描述=需求文档+接口文档+程序架构+工程结构.   程序架构:类结构图: 需求文档:业务逻辑-->时序图.

  3. 【[AHOI2013]差异】

    这个题一看就是为后缀家族设计的 我们看到我们要求的这个柿子 \[\sum_{i=1}^n\sum_{j=i+1}^nT_i+T_j-2\times lcp(T_i,T_j)\] 显然的是前面的那些东西 ...

  4. 「2017 山东一轮集训 Day5」字符串

    题目 比较神仙的操作啊 首先先考虑一个串的做法,我们有两种:SA或SAM,其中SAM又有两种,拓扑图上的\(dp\)和\(parent\)上随便统计一下 显然这道题\(SA\)和\(parent\)树 ...

  5. yarn的学习-2-从 npm 迁移到 yarn-包管理工具

    从npm处迁移过来多许多用户来说是一个相对简单的过程.yarn能想npm一样定制相同的package.json,并能够从npm仓库下载任意的包 如果你想要在已存在的npm项目中使用yarn,运行yar ...

  6. python requests 简单实现易班登录,自动点赞,评论,发表

    小编能力有限,本文纯属瞎编,如有雷同,你去打辅导员涩 一.前戏 有个操蛋,操蛋,操蛋的辅导员促使小编成长,原因:易班需要活跃度,辅导员安排班上每个人必须去易班上 写文章,写评论,发投票...  我觉得 ...

  7. 常见的CSS属性和值CascadingStyleSheets

    字体文本背景位置边框列表其他 CSS中修饰字体的属性 属    性 描    述 属  性  值 font-family 字体族科 任意字体族科名称都可以使用例如Times.serif等,而且多个族科 ...

  8. Leetcode——121. 买卖股票的最佳时机

    题目描述:买卖股票的最佳时机 题目要求求解能获得最大利润的方式? 可以定一个二维数组 d [ len ] [ 2 ] ,其中d[ i ][ 0 ] 表示前i天可以获得的最大利润:d[ i ][ 1 ] ...

  9. jqgrid 在表格底部添加自定义按钮

    往往我们需要在jqgrid底部的分页行中添加一些自定义按钮,效果如下: 上图中,三个按钮均是自定义添加上的. 1.要新增自定义按钮在表格底部,仍离不开分页div,需要给jqgrid绑定分页方法 2.由 ...

  10. 几个PHP读取整个文件的函数readfile()、fpassthru()和file()

    2.7.4   读取整个文件:readfile().fpassthru()和file()除了可以每次读取文件一行外,还可以一次读取整个文件.PHP提供了4种不同的方式来读取整个文件.第一种方式是rea ...