数据清洗,使用python数据清洗cvs里面带中文字符,意图是用字典对应中文字符,即key值是中文字符,value值是index,自增即可;利用字典数据结构没有重复key值的特性,把中文字符映射到了数值index。

  python代码如下:(data数据时csv格式)

import csv

dict2 = {}      #C
dict4 = {}      #E
dict25 = {}     #z
dict26 = {}     #AA
dict27 = {}     #AB
dict37 = {}     #AL
dict38 = {}     #AM
dict40 = {}     #AO
dict41 = {}     #AP
dict42 = {}     #AQ
dict45 = {}     #AT
dict49 = {}     #AX
index = 0
flag = False #        print(row[2],dict[row[2]]) with open("E:/test/real/test.csv", 'w+', newline='') as csv_file_write:
        writer = csv.writer(csv_file_write)
        with open('E:/test/real/b.csv', 'r', newline='') as csv_file_read:
            reader = csv.reader(csv_file_read)
            for row in reader:
                if(flag):
                    if row[2] not in dict2.keys():
                        dict2[row[2]] = index
                    if row[4] not in dict4.keys():
                        dict4[row[4]] = index
                    if row[25] not in dict25.keys():
                        dict25[row[25]] = index
                    if row[26] not in dict26.keys():
                        dict26[row[26]] = index
                    if row[27] not in dict27.keys():
                        dict27[row[27]] = index
                    if row[37] not in dict37.keys():
                        dict37[row[37]] = index
                    if row[38] not in dict38.keys():
                        dict38[row[38]] = index
                    if row[40] not in dict40.keys():
                        dict40[row[40]] = index
                    if row[41] not in dict41.keys():
                        dict41[row[41]] = index
                    if row[42] not in dict42.keys():
                        dict42[row[42]] = index
                    if row[45] not in dict45.keys():
                        dict45[row[45]] = index
                    if row[49] not in dict49.keys():
                        dict49[row[49]] = index
                    row[2] = dict2[row[2]]
                    row[4] = dict4[row[4]]
                    row[25] = dict25[row[25]]
                    row[26] = dict26[row[26]]
                    row[27] = dict27[row[27]]
                    row[37] = dict37[row[37]]
                    row[38] = dict38[row[38]]
                    row[40] = dict40[row[40]]
                    row[41] = dict41[row[41]]
                    row[42] = dict42[row[42]]
                    row[45] = dict45[row[45]]
                    row[49] = dict49[row[49]]
                    index = index + 1
                writer.writerow(row)
                flag = True
        csv_file_read.close()
csv_file_write.close() print('done!')

  上例是真实的数据处理,有两百列属性,三万条数据的原始数据。其中包括中文字符,及缺失值,需要一步步清洗。

  备注:发生异常permission denied异常;

  解决方案: 是因为正在打开着csv文件,所以python没有权限以w的方式打开文件。关闭该文件即可;

数据挖掘:python数据清洗cvs里面带中文字符的更多相关文章

  1. PHP - 传入WebService服务端带中文字符的序列化字串不能反序列化的解决方法

    因工作需要,用了web服务,通过远程调用的方式来检索雅虎拍卖数据.前几天遇到一个问题,现在记录一下 客户端: $res = $this->client->call('Get_YahooDa ...

  2. python利用utf-8编码判断中文字符

    下面这个小工具包含了 判断unicode是否是汉字,数字,英文,或者其他字符. 全角符号转半角符号. unicode字符串归一化等工作. 还有一个能处理多音字的汉字转拼音的程序,还在整理中. #!/u ...

  3. WP8_UTF8 to GB2312转码 (url网址中带中文字符的处理)

    直接使用例如:http://www.abc.php?name=中文符 ,客户端调用,在服务端修改后,会出现乱码, 而windows phone 又不能直接支持gb2312, 经过大量分析和验证,发现 ...

  4. 判断一个python字符串中是否包含中文字符

    #在python中一个汉字算一个字符,一个英文字母算一个字符 #用 ord() 函数判断单个字符的unicode编码是否大于255即可. def is_contain_chinese(check_st ...

  5. python 处理html文本的中文字符gbk转utf-8

    #中文字符gbk转utf-8 def gbk2utf8(self,raw): rs=raw.encode('raw_unicode_escape') #转为机器识别字符串 s=repr(rs) ss= ...

  6. 带中文的路径导致NSURL初始化一直为null的问题

    一.问题描述 在学习Ojective-C过程中,需要读取文件中的内容,但发现指针变量url的值一直为nil. 代码如下: NSString *strUrl=@"file:///Users/f ...

  7. JAVA的中文字符乱码问题

    来源:http://luzefengoo.blog.163.com/blog/static/1403593882012754428536/ JAVA的中文字符乱码问题一直很让人头疼.特别是在WEB应用 ...

  8. python中文字符乱码(GB2312,GBK,GB18030相关的问题)

    转自博主 crifan http://againinput4.blog.163.com/blog/static/1727994912011111011432810/ 在玩wordpress的一个博客搬 ...

  9. Python中文字符的理解:str()、repr()、print

    Python中文字符的理解:str().repr().print 字数1384 阅读4 评论0 喜欢0 都说Python人不把文字编码这块从头到尾.从古至今全研究通透的话是完全玩不转的.我终于深刻的理 ...

随机推荐

  1. win7右下角声音图标不见了

    场景:开机后发生右下角的声音图标不见了,马上google,可能性有两种图标隐藏或者系统错误 隐藏处理方式:右下角下打开自定义--> 将它调为显示和通知(发生不好使,估计是系统错误) 系统错误处理 ...

  2. thinkphp6 常用方法文档

    请求变量 use think\facade\Request; Request::param('name'); Request::param();全部请求变量 返回数组 Request::param([ ...

  3. 37 (OC)* 类别的作用

    问题: OC中类别(Category)是什么?Category类别是Objective-C语言中提供的一个灵活的类扩展机制.类别用于在不获悉.不改变原来代码的情况下往一个已经存在的类中添加新的方法,只 ...

  4. 在.NET Core中使用DispatchProxy“实现”非公开的接口

    原文地址:"Implementing" a non-public interface in .NET Core with DispatchProxy 原文作者:Filip W. 译 ...

  5. Django安装与简单事例-02

    Django的下载与基本命令 1.下载Django: 1 pip3 install django 2.创建一个django project 1 django-admin.py startproject ...

  6. DOM之事件(一)

    DOM事件,就是浏览器或用户针对页面可以做出的某种动作,我们称这些动作为DOM事件.它是用户和页面交互的核心.当动作发生(事件触发)时,我们可以为其绑定一个或多个事件处理程序(函数),来完成我们想要实 ...

  7. 【linux】【docker】docker及docker-compose安装

    安装 一. docker安装 Centos 安装docker18.03 wget https://download.docker.com/linux/centos/7/x86_64/stable/Pa ...

  8. JAVA设计模式-动态代理(Proxy)源码分析

    在文章:JAVA设计模式-动态代理(Proxy)示例及说明中,为动态代理设计模式举了一个小小的例子,那么这篇文章就来分析一下源码的实现. 一,Proxy.newProxyInstance方法 @Cal ...

  9. 简述python的turtle绘画命令及解释

    一 基础认识 turtle库是python的标准库之一,它是一个直观有趣的图形绘制数据库,turtle(海龟)图形绘制的概念诞生1969年.它的应用十分广,而且使用简单,只要在编写python程序时写 ...

  10. SpringBoot官方文档学习(一)开发你的第一个Spring Boot应用

    一些准备工作: 本节介绍如何开发一个简单的“ Hello World!” Web应用程序,该应用程序重点介绍Spring Boot的一些关键功能.我们使用Maven来构建该项目,因为大多数IDE都支持 ...