学习笔记（23）- plato-准备中文语料

以plato使用的metalwoz数据集的INSURANCE为例，进行语料的汉化过程。

1. 下载数据集

微软的数据集，下载地址：https://www.microsoft.com/en-us/research/project/metalwoz/

2. 将语料翻译成中文，并分词

先是使用了有道云的翻译接口，调用几百次之后，被封了不能用。

随后换了百度云的通用翻译接口，免费的。

代码见：https://github.com/xuehuiping/metalwoz_zh

参考：

文档 http://api.fanyi.baidu.com/doc/21

申请开发者 http://api.fanyi.baidu.com/api/trans/product/desktop?req=developer

3. 解析语料到csv格式

将txt文件转化为csv文件

使用plato提供的工具

3.1 编写yaml文件

plato/example/config/parser/Parse_MetalWOZ.yaml

指明txt文件路径，即上述翻译到中文并分词之后的文件。

---

package: plato.utilities.parser.parse_metal_woz
class: Parser
arguments:
  data_path: /Users/huihui/data/metalwoz-v1/dialogues/SHOPPING.txt

3.2 执行转换

plato parse --config Parse_MetalWOZ.yaml

解析之后的文件在data/metalwoz.csv

4. 结束

用这个csv文件，就可以训练模型了