#环境需求 Python2 
 1 #!/bin/python
# -*- coding: utf- -*- import struct
import sys
import binascii
import pdb try:
reload(sys)
sys.setdefaultencoding('utf-8')
except:
pass # 搜狗的scel词库就是保存的文本的unicode编码,每两个字节一个字符(中文汉字或者英文字母)
# 找出其每部分的偏移位置即可
# 主要两部分
# .全局拼音表,貌似是所有的拼音组合,字典序
# 格式为(index,len,pinyin)的列表
# index: 两个字节的整数 代表这个拼音的索引
# len: 两个字节的整数 拼音的字节长度
# pinyin: 当前的拼音,每个字符两个字节,总长len
#
# .汉语词组表
# 格式为(same,py_table_len,py_table,{word_len,word,ext_len,ext})的一个列表
# same: 两个字节 整数 同音词数量
# py_table_len: 两个字节 整数
# py_table: 整数列表,每个整数两个字节,每个整数代表一个拼音的索引
#
# word_len:两个字节 整数 代表中文词组字节数长度
# word: 中文词组,每个中文汉字两个字节,总长度word_len
# ext_len: 两个字节 整数 代表扩展信息的长度,好像都是10
# ext: 扩展信息 前两个字节是一个整数(不知道是不是词频) 后八个字节全是0
#
# {word_len,word,ext_len,ext} 一共重复same次 同音词 相同拼音表 # 拼音表偏移,
startPy = 0x1540; # 汉语词组表偏移
startChinese = 0x2628; # 全局拼音表 GPy_Table = {} # 解析结果
# 元组(词频,拼音,中文词组)的列表
GTable = [] def byte2str(data):
'''''将原始字节码转为字符串'''
i = ;
length = len(data)
ret = u''
while i < length:
x = data[i] + data[i + ]
t = unichr(struct.unpack('H', x)[])
if t == u'\r':
ret += u'\n'
elif t != u' ':
ret += t
i +=
return ret # 获取拼音表
def getPyTable(data):
if data[:] != "\x9D\x01\x00\x00":
return None
data = data[:]
pos =
length = len(data)
while pos < length:
index = struct.unpack('H', data[pos] + data[pos + ])[]
# print index,
pos +=
l = struct.unpack('H', data[pos] + data[pos + ])[]
# print l,
pos +=
py = byte2str(data[pos:pos + l])
# print py
GPy_Table[index] = py
pos += l # 获取一个词组的拼音 def getWordPy(data):
pos =
length = len(data)
ret = u''
while pos < length:
index = struct.unpack('H', data[pos] + data[pos + ])[]
ret += GPy_Table[index]
pos +=
return ret # 获取一个词组
def getWord(data):
pos =
length = len(data)
ret = u''
while pos < length:
index = struct.unpack('H', data[pos] + data[pos + ])[]
ret += GPy_Table[index]
pos +=
return ret # 读取中文表
def getChinese(data):
# import pdb
# pdb.set_trace() pos =
length = len(data)
while pos < length:
# 同音词数量
same = struct.unpack('H', data[pos] + data[pos + ])[]
# print '[same]:',same, # 拼音索引表长度
pos +=
py_table_len = struct.unpack('H', data[pos] + data[pos + ])[]
# 拼音索引表
pos +=
py = getWordPy(data[pos: pos + py_table_len]) # 中文词组
pos += py_table_len
for i in xrange(same):
# 中文词组长度
c_len = struct.unpack('H', data[pos] + data[pos + ])[]
# 中文词组
pos +=
word = byte2str(data[pos: pos + c_len])
# 扩展数据长度
pos += c_len
ext_len = struct.unpack('H', data[pos] + data[pos + ])[]
# 词频
pos +=
count = struct.unpack('H', data[pos] + data[pos + ])[] # 保存
GTable.append((count, py, word)) # 到下个词的偏移位置
pos += ext_len def deal(file_name):
print '-' *
f = open(file_name, 'rb')
data = f.read()
f.close() if data[:] != "\x40\x15\x00\x00\x44\x43\x53\x01\x01\x00\x00\x00":
print "确认你选择的是搜狗(.scel)词库?"
sys.exit()
# pdb.set_trace() print "词库名:", byte2str(data[0x130:0x338]) # .encode('GB18030')
print "词库类型:", byte2str(data[0x338:0x540]) # .encode('GB18030')
print "描述信息:", byte2str(data[0x540:0xd40]) # .encode('GB18030')
print "词库示例:", byte2str(data[0xd40:startPy]) # .encode('GB18030') getPyTable(data[startPy:startChinese])
getChinese(data[startChinese:]) if __name__ == '__main__': # 将要转换的词库添加在这里就可以了
#o = [u'明星【官方推荐】.scel',]C:\Users\samsung\Desktop\文本分类资料\生活\理财_65\博彩类_7彩票词汇大全.scel
o =[u"北方民族大学.scel"] for f in o:
deal(f) # 保存结果
f = open('8.txt', 'w')
for word in GTable:
# GTable保存着结果,是一个列表,每个元素是一个元组(词频,拼音,中文词组),有需要的话可以保存成自己需要个格式
# 我没排序,所以结果是按照上面输入文件的顺序
#f.write(unicode(word).encode('GB18030')) # 最终保存文件的编码,可以自给改
f.write(word[])
f.write('\n')
f.close()

搜狗词库转txt的更多相关文章

  1. 将搜狗词库.scel格式转化为.txt格式

    由于项目中要用到词库,而下载的搜狗词库是.scel格式,所以就用python脚本将搜狗词库.scel格式文件转化为.txt格式文件. #!/bin/python # -*- coding: utf-8 ...

  2. (转载)Windows下小狼毫输入法(Rime)的安装与配置(含导入搜狗词库)

    div id="cnblogs_post_body" class="blogpost-body"> 最近彻底烦透了搜狗拼音输入法的各种流氓行为,自动升级不 ...

  3. CentOS安装搜狗词库

    中文输入使用ibus-pinyin. 在ibus-pinyin里使用搜狗词库 # wget http://hslinuxextra.googlecode.com/files/sougou-phrase ...

  4. Fcitx使用搜狗词库与皮肤

    在 \(\text{Linux}\) 环境下,\(\text{Fcitx}\) 确实是最好用的开源输入法之一.然而 \(\text{Windows}\) 下的巨头输入法 -- 搜狗,对 \(\text ...

  5. Elementary OS 使用fcitx安装搜狗词库、搜狗输入法(Linux通用)

    刚开始接触Linux的小伙伴可能比较懵逼,我要使用ibus输入法还是fcitx(小企鹅)输入法,其实这两种都不能说是输入法,Linux中输入法的使用是依赖于输入法框架的,其中搜狗输入法和百度输入法都是 ...

  6. 将搜狗词库(.scel格式)转化为txt格式

    参考:http://blog.csdn.net/zhangzhenhu/article/details/7014271 #!/usr/bin/python # -*- coding: utf-8 -* ...

  7. 使用Java将搜狗词库文件(文件后缀为.scel)转为.txt文件

    要做一个根据词库进行筛选主要词汇的功能,去搜狗下载专业词汇词库时,发现是.scel文件,且通过转换工具(http://tools.bugscaner.com/sceltotxt/)转换为txt时报错如 ...

  8. 解析搜狗词库(python)

    #!/usr/bin/python # -*- coding: utf-8 -*- import struct import sys import binascii import pdb #搜狗的sc ...

  9. 中州韵输入法(rime)导入搜狗词库

    rime是一个非常优秀的输入法,linux平台下的反应速度远超搜狗,也没有隐私风险.2012年开始接触它,到后来抛弃了它,因为rime自带的词库真的太弱了,也懒得折腾.最近发现一个词库转换软件叫ime ...

随机推荐

  1. linux的进程间通信概述

    一 进程间通信 1.1. linux内核提供多种进程间通信机制 a. 无名管道和有名管道 b. SystemV IPC:信号量.消息队列.共享内存 c. Socket域套接字 d. 信号 1.2. 无 ...

  2. 线程中断:Thread类中interrupt()、interrupted()和 isInterrupted()方法详解

    首先看看官方说明: interrupt()方法 其作用是中断此线程(此线程不一定是当前线程,而是指调用该方法的Thread实例所代表的线程),但实际上只是给线程设置一个中断标志,线程仍会继续运行. i ...

  3. 输入某年某月某日,判断这一天是这一年的第几天?(可以用 Python 标准 库)

    import datetime def dayofyear(): year = input("请输入年份:") month = input("请输入月份:") ...

  4. hdu6468 zyb的面试 (思维)

    题目传送门 题意: 将1~n个数按字典序排序后,求第k个数 思路: 代码: #include<stdio.h> #include<iostream> #include<a ...

  5. git error: failed to push some refs to 'git@github.com:xxx/xxx.git'

    本地仓库中和远程仓库不一致,缺少readme.md文件 解决方式参见:https://blog.csdn.net/qq_37281252/article/details/79044798

  6. SpringBoot 单元测试忽略@component注解

    springboot框架在单元测试时可能需要忽略某些带有@component的实例 例如以下代码: @Component public class MyCommandLineRunner implem ...

  7. ELK报错及解决方案

    ELK报错及解决方案 1.jdk版本问题 报错如下: future versions of Elasticsearch will require Java 11; your Java version ...

  8. R语言模型选择之精度准则与最大值法问题

    在模型选择中我们一般用caret包train函数建立模型,并对模型进行评判 方法1: ) tr_control<-trainControl(method = ) # 创建随机森林模型 model ...

  9. Spring Boot 支持https

    1. 生成key JDK下 keytool -genkeypair -alias mySSL -keyalg RSA -keystore E:\tomcat.key 其中-alias是证书的别名,RS ...

  10. 使用Python发送企业微信消息

    准备工作: 到企业微信官网,注册一个企业:登录企业微信后台,创建一个“自建”应用, 获取企业ID.agentid.secret这3个必要的参数:在企业微信的通讯录中,创建多个测试账号:在手机端安装“企 ...