Pytorch加载txt格式的数据集文件（以PTB数据集为例）

前言

这篇博客以PTB数据集为例，详细讲解了如何将txt格式的数据集文件，转换为pytorch框架可以直接处理的tensor变量，并附上相应代码

@

目录

• 前言
• 1. PTB 数据集
• 2. 构建词汇表
• 3. 将训练集，验证集和测试集根据词汇表转换为数字序号，并转换为tensor
• 3. 转换为批处理的tensor变量
• 总结

---

1. PTB 数据集

PTB数据集含有三个txt文件，分别作为训练集（train），验证集（valid）和测试集（test）；这三个txt文件分别包含42000，3000和3000句英文；

我们要将其转化为pytorch可处理的tensor类型数据集，需要以下几步：

• 依次读取每一行的训练集文件(train.txt)，为每一个读到的单词分配序号，构建词汇表
  • 出现频率低于min_ooc(通常默认为3)次的词汇，单词一率变为未知单词 < unk > ，分配序号1
  • < sos >为每句话的起始信号，分配序号2
  • < eos >为每句话的结束信号，分配序号3
  • 由于每句话长度不一样，而pytorch批处理数据，需要统一句子长度，因此长度较短的句子用 < pad > 填充，分配序号0
• 统一句子长度为max_sentence_length(默认50)
  • 高于50个单词的句子，只保留前50个单词；
  • 低于50个单词的句子，用 < pad > 信号填充到50
• 根据训练集构建的词汇表，将训练集，验证集和测试集都变成数字序号表示的句子，如 a cat not is dog变成 2 25 54 12 0 0
• 构建三个数据集加载转换后的用数字序号表示的句子，并将其错位句子作为该句子的标签（target），例如, a cat not is dog变成 2 25 54 12 0 0, 那它对应的target就是 25 54 12 3 0 0 了 （2 3 分别为起始，末尾信号）
• 将其转换为批处理的tensor变量

这样我们就能得到pytorch可以直接加载处理的tensor类型数据集了

2. 构建词汇表

我们先定义一个字典类型的变量，该字典类型变量，会将输入的句子里的新单词添加到字典中，并记录该单词的出现次数

引入库文件：

import json
import torch
import numpy as np
from nltk.tokenize import TweetTokenizer
from collections import Counter, OrderedDict,defaultdict
import io
import os
from torch.utils.data import DataLoader

class OrderedCounter(Counter, OrderedDict): #这样定义的字典类型变量，会将输入的句子里的新单词添加到字典中，并记录该单词的出现次数
    """Counter that remembers the order elements are first encountered"""
    def __repr__(self):
        return '%s(%r)' % (self.__class__.__name__, OrderedDict(self))
    def __reduce__(self):
        return self.__class__, (OrderedDict(self),)

依次读入ptb.train.txt的每一句话，并对其进行分词，不区分大小写；

• 分词：由于默认可以通过空格来分开每个单词，但专业的分词函数更好些

def create_vocab(split):
    tokenizer = TweetTokenizer(preserve_case=False) #分词，不区分大小写
    w2c = OrderedCounter()
    w2i = dict()
    i2w = dict()
    special_tokens = ['<pad>', '<unk>', '<sos>', '<eos>']
    for st in special_tokens:
        i2w[len(w2i)] = st
        w2i[st] = len(w2i)
    with open(split, 'r') as file:
        for i, line in enumerate(file):
            words = tokenizer.tokenize(line)
            w2c.update(words)                     #这段程序将文件中出现过的所有单词加载到字典类型变量w2c中，并存储了他们出现的次数
        for w, c in w2c.items():
            if c > 3 and w not in special_tokens: #依次为出现次数大于3，且不是那4种特殊信号的单词分配序号
                i2w[len(w2i)] = w
                w2i[w] = len(w2i)                #w2i格式为'cat':50这种,i2w为50:'cat'这种
    return w2i,i2w

实例化一下试试：

3. 将训练集，验证集和测试集根据词汇表转换为数字序号，并转换为tensor

def create_data(split,w2i): #split为待转换的txt文件地址
    tokenizer = TweetTokenizer(preserve_case=False) #分词，不区分大小写
    data = defaultdict(dict)
    with open(split, 'r') as file:    #读取该文件的每一行
        for i, line in enumerate(file):
            words = tokenizer.tokenize(line) #分词
            input = ['<sos>'] + words    #输入的开头增加<sos>信号
            input = input[:50]           #只保留前50个（起始信号<sos> + 文本的前49个单词)
            target = words[:50-1]        #输入对应的target,也只保留50个(取文本的前49个单词+ 结束信号<eos>)
            target = target + ['<eos>']
            length = len(input)
            input.extend(['<pad>'] * (50-length))     #输入和target，不足50个的，用<pad>补足50个
            target.extend(['<pad>'] * (50-length))
            input = [w2i.get(w, w2i['<unk>']) for w in input]
            target = [w2i.get(w, w2i['<unk>']) for w in target]
            id = len(data)                            #id表示该数据集的第id句话
            inpu_t = torch.from_numpy(np.asarray(input))              #转换为tensor形式
            targe_t = torch.from_numpy(np.asarray(target))
            data[id]['input'] = inpu_t
            data[id]['target'] = targe_t
            data[id]['length'] = length
    return data

实例化一下试试：

3. 转换为批处理的tensor变量

data_loader = DataLoader(
                dataset= data,
                batch_size= 64,#批处理大小
                shuffle=True #是否打乱排序
            )

实例化试试：

总结

这篇博客以PTB数据集为例，介绍了如何将txt形式的数据集转换为pytorch框架中可以使用的，批处理的tensor形式

参考项目：github上以PTB数据集训练的一个语言模型的项目