Python 提供了多种库来处理纯文本数据，这些库可以应对从基本文本操作到复杂文本分析的各种需求。以下是一些常用的纯文本处理相关的库：

  1. str 类型: Python 内建的字符串类型提供了许多简便的方法来进行基础文本处理，如分割、连接、替换文本等。
# 分割字符串

text = "hello, world"

print(text.split(","))  # 输出：['hello', ' world']

# 连接字符串

words = ["Python", "is", "awesome"]

print(" ".join(words))  # 输出：Python is awesome

# 替换字符串中的子字符串

text = "Hello World"

print(text.replace("World", "Python"))  # 输出：Hello Python
  1. re: Python 的标准库之一，用于执行正则表达式操作。这个库对于复杂的字符串匹配和提取非常有用。
import re

text = "The rain in Spain"

x = re.search("^The.*Spain$", text)

if x:

      print("YES! We have a match!")

else:

      print("No match")
  1. string: 这个标准库模块包含了一些常见的字符串操作函数和常量。
import string

# 示例：使用 string 常量

print(string.ascii_lowercase)  # 输出：abcdefghijklmnopqrstuvwxyz
  1. textwrap: 用于格式化文本段落以适应屏幕宽度的工具。
import textwrap

sample_text = '''

	This is a very very very very very long string.

	'''

print(textwrap.fill(sample_text, width=50))
  1. difflib: 可以用来比较序列之间的差异，包括文本文件。
import difflib

text1 = "Python is great"

text2 = "Python is good"

d = difflib.Differ()

diff = d.compare(text1.split(), text2.split())

print('\n'.join(diff))
  1. codecs: 用于编码和解码文本文件，特别是涉及不同编码的场景。
import codecs

# 读取一个 UTF-8 编码的文件

with codecs.open('example.txt', 'r', 'utf-8') as f:

      print(f.read())
  1. unicodedata: 用于处理Unicode字符的数据库。
import unicodedata

# 获取字符的名称

char = 'ñ'

name = unicodedata.name(char)

print(name)  # 输出：LATIN SMALL LETTER N WITH TILDE
  1. csv: 用于读写CSV格式文件的库，虽然CSV不是纯文本，但是通常被视为简单文本数据的一种。
import csv

with open('example.csv', mode='r') as file:

      reader = csv.reader(file)

      for row in reader:

         print(row)
  1. json: 用于读写JSON格式的数据，虽然JSON通常用于数据交换，但也是文本格式的一种。
import json

data = {'key': 'value'}

json_data = json.dumps(data)

print(json_data)
  1. xml.etree.ElementTree: 用于解析和创建XML数据。
import xml.etree.ElementTree as ET

# 解析XML

tree = ET.parse('example.xml')

root = tree.getroot()

# 遍历XML文档

for child in root:

   print(child.tag, child.attrib)
  1. html.parser: 用于解析HTML文档。
from html.parser import HTMLParser

class MyHTMLParser(HTMLParser):

   def handle_starttag(self, tag, attrs):

      print("Start tag:", tag)

   def handle_endtag(self, tag):

      print("End tag:", tag)

   def handle_data(self, data):

      print("Data:", data)

parser = MyHTMLParser()

parser.feed('<html><head><title>Test</title></head>'

            '<body><h1>Parse me!</h1></body></html>')
  1. nltk (Natural Language Toolkit): 一个强大的文本处理库，用于处理人类使用的自然语言数据。
import nltk

nltk.download('punkt')

from nltk.tokenize import word_tokenize

text = "Hello Mr. Smith, how are you doing today?"

tokens = word_tokenize(text)

print(tokens)

通过使用这些库，Python 程序员能够执行各种文本处理任务，从简单的字符串操作到复杂的文本分析和处理。根据项目的具体需求，正确选择合适的库对于提高效率和代码质量至关重要。

玩转Python：用Python处理文本数据，附代码的更多相关文章

  1. [Python] 糗事百科文本数据的抓取

    [Python] 糗事百科文本数据的抓取 源码 https://github.com/YouXianMing/QiuShiBaiKeText import sqlite3 import time im ...

  2. 教你用Python解决非平衡数据问题（附代码）

    本文为你分享数据挖掘中常见的非平衡数据的处理,内容涉及到非平衡数据的解决方案和原理,以及如何使用Python这个强大的工具实现平衡的转换. 后台回复“不平衡”获取数据及代码~ 前言 好久没有更新自己写 ...

  3. Python爬虫学习记录【内附代码、详细步骤】

    引言: 昨天在网易云课堂自学了<Python网络爬虫实战>,视频链接 老师讲的很清晰,跟着实践一遍就能掌握爬虫基础了,强烈推荐! 另外,在网上看到一位学友整理的课程记录,非常详细,可以优先 ...

  4. Python实现12种概率分布（附代码）

    今天给大家带来的这篇文章是关于机器学习的,机器学习有其独特的数学基础,我们用微积分来处理变化无限小的函数,并计算它们的变化:我们使用线性代数来处理计算过程:我们还用概率论与统计学建模不确定性. 在这其 ...

  5. R语言广义线性模型(GLM)、全子集回归模型选择、检验分析全国风向气候数据|附代码数据

    全文链接:http://tecdat.cn/?p=30914 最近我们被客户要求撰写关于广义线性模型(GLM)的研究报告,包括一些图形和统计输出. 我们正和一位朋友讨论如何在R软件中用GLM模型处理全 ...

  6. python实现的电影票房数据可视化

    代码地址如下:http://www.demodashi.com/demo/14275.html 详细说明: Tushare是一个免费.开源的python财经数据接口包.主要实现对股票等金融数据从数据采 ...

  7. Python文本数据互相转换（pandas and win32com）

    (工作之后,就让自己的身心都去休息吧) 今天介绍一下文本数据的提取和转换,这里主要实例的转换为excel文件(.xlsx)转换world文件(.doc/docx),同时需要使用win32api,同py ...

  8. Python+selenium之获取文本值和下拉框选择数据

    Python+selenium之获取文本值和下拉框选择数据 一.结合实例进行描述 1. 实例如下所示: #新增标签操作 def func_labels(self): self.driver.find_ ...

  9. Python之读写文本数据

    知识点不多 一:普通操作  # rt 模式的 open() 函数读取文本文件 # wt 模式的 open() 函数清除覆盖掉原文件,write新文件 # at 模式的 open() 函数添加write ...

  10. python处理文本数据

    处理文本数据,主要是通过Seris的str访问.遇到NaN时不做任何处理,保留结果为NaN,遇到数字全部处理为NaN. str是Seris的方法,DataFrame不能直接使用,但是通过索引选择Dat ...

随机推荐

  1. redis基本数据类型 string

    string类型 1.SET:添加或者修改已经存在的一个String类型的键值对 2.GET:根据key获取String类型的value 3.MSET:批量添加多个String类型的键值对 4.MGE ...

  2. ORACLE错误代码一览表，方便大家查询！

    ORACLE错误一览表,方便大家查询! ORA-00001: 违反唯一约束条件 (.) ORA-00017: 请求会话以设置跟踪事件 ORA-00018: 超出最大会话数 ORA-00019: 超出最 ...

  3. 高可用mongodb集群(分片+副本):性能测试

    目录 ■ 为指定的库和表指定hash分片 ■ 测试模型,即workload模型 ■ 测试指标 ■ workload_s6 ■ 分片集群性能测试数据统计分析 ■ 测试结论 Yahoo! Cloud Se ...

  4. [SUCTF 2019]CheckIn 1

    看到字符upload 就想到了文件上传漏洞 就先上传一个一句话木马试试 似乎直接上传不成功,可能是有什么过滤 再上传一个包含一句话木马的图片试试 发现提示不能是图片,这时候就不会了,在网上找了一下wp ...

  5. Flink测试利器之DataGen初探

    什么是 Flinksql Flink SQL 是基于 Apache Calcite 的 SQL 解析器和优化器构建的,支持ANSI SQL 标准,允许使用标准的 SQL 语句来处理流式和批处理数据.通 ...

  6. K8S 组合命令

    强制删除namespace kubectl get namespace [namespace-name] -o json | tr -d "\n" | sed "s/\& ...

  7. 搞懂Event Loop

    本文关键: V8是单线程的 任务队列排队执行 抽出io命令抽出到evenloop线程,消息线程,区别与主线程.(同步和异步) 微任务和宏任务执行顺序 重绘和回流 以上流程无限循环 可以这样理解,一个人 ...

  8. DOM级别

    DOM1 DOM1级由两个模块组成:DOM核心(DOM CORE)和DOM HTML.其中,DOM核心规定的是如何映射基于XML的文档结构,以便简化对文档中任意部分的访问和操作.DOM HTML模块则 ...

  9. Vite4+Typescript+Vue3+Pinia 从零搭建(3) - vite配置

    项目代码同步至码云 weiz-vue3-template 关于vite的详细配置可查看 vite官方文档,本文简单介绍vite的常用配置. 初始内容 项目初建后,vite.config.ts 的默认内 ...

  10. 动态规划——提高Ⅴ（DP优化）

    单调队列优化DP 其实单调队列就是一种队列内的元素有单调性(单调递增或者单调递减)的队列,答案(也就是最优解)就存在队首,而队尾则是最后进队的元素.因为其单调性所以经常会被用来维护区间最值或者降低DP ...