# -*- coding:utf-8 -*-
"""
从文件导入分类 根据行首制表符或空格确定层级关系(4个空格等于一个制表符 同一行制表符和空格不能混用 )
必须是 utf-8编码 -------test.txt-------
鞋子
运动鞋
凉鞋
拖鞋
靴子
体育
羽毛球
单打
双打
游泳
----------------------
""" import redis
import MySQLdb
import json class Category(object): cache = redis.StrictRedis(host='localhost',port = 6379,db=0)
conn = MySQLdb.Connect(host='192.168.1.222', user='root', passwd='', db='gmian',charset='utf8') """
打开文件 读取每一行进行处理
"""
def run(self,category_file):
f = open(category_file,'r')
while True:
#print isinstance(line, unicode) # 检测是否为unicode
#print unicode(line,"utf-8")
line = f.readline()
if line:
self.writeCate(line)
else:
break
f.close() #删除缓存
def __del__(self):
keys = self.__class__.cache.smembers('category_keys')
for key in keys:
self.__class__.cache.delete(key)
self.__class__.cache.delete('category_cateid')
self.__class__.cache.delete('category_keys') #获取自动增长的ID
@classmethod
def getincr(cls):
return int(cls.cache.incr('category_cateid')) + DB_AUTO_INSERT # 把分类添加进按层级分别的列表中
@classmethod
def add(cls,num,catename):
id = cls.getincr()
cls.insert_db(id,num,catename)
cls.cache.sadd('category_keys','category_level_'+str(num))
cls.cache.lpush('category_level_'+str(num),json.dumps([id,catename])) #获取父类
@classmethod
def getparentid(cls,num):
parent = cls.cache.lindex('category_level_'+str(num-1),0)
if not parent:
raise NameError('STOP !! 没找到父类')
parent = json.loads(parent)
return parent[0] @classmethod
def writeCate(cls,line):
num,catename = cls.getLevelNum(line)
cls.add(num,catename) @classmethod
def insert_db(cls,id,num,catename):
if num:
pid = cls.getparentid(num)
else:
pid = 0
cursor = cls.conn.cursor()
cursor.execute("insert into gm_category (cat_id,cat_name,parent_id,style,is_top_style,is_top_show,cat_ico)value(%s,%s,%s,%s,%s,%s,%s)" , (id,catename,pid,'',0,0,''))
cls.conn.commit() # 要么全部是 \t 要么全部是空格 空格4个为一个单位
@staticmethod
def getLevelNum(str):
i = 0
while str[i] == '\t':
i+=1
if i:
return i,str[i:]
while str[i] == ' ':
i+=1
if not i:
return 0,str
return i/4,str[i:] if __name__ == '__main__':
# >$ python category.py 153(DB_AUTO_INSERT) cate1.txt cate2.txt ... import sys
try:
DB_AUTO_INSERT = int(sys.argv[1]) # 已存在的最大ID 否则ID重复 插入失败
files = sys.argv[2:]
if not files:
raise IndexError('input category file')
except IndexError as e:
raise ValueError('---------argv errors-------')
cate = Category()
for file in files:
try:
cate.run(file)
except Exception as e:
print e
print u"【" +file+ u"】导入失败"

python 从文件导入分类的更多相关文章

  1. 关于python中文件导入的若干问题

    __init__文件 同一级目录下直接import导入就可以了,如果是在不同的目录下面被导入文件的文件夹下面必须有__init__.py文件,即使这个文件是空的也可以.当然这个文件也可以初始一些数据 ...

  2. python将文件导入字典

    a={}i=0f = open("filepath","r")for line in f.readlines(): a[i] =line i=i+1 a是字典, ...

  3. appium+python自动化51-adb文件导入和导出(pull push)

    前言 用手机连电脑的时候,有时候需要把手机(模拟器)上的文件导出到电脑上,或者把电脑的图片导入手机里做测试用,我们可以用第三方的软件管理工具直接复制粘贴,也可以直接通过adb命令导入和导出. adb ...

  4. appium+python自动化-adb文件导入和导出(pull push)

    前言 用手机连电脑的时候,有时候需要把手机(模拟器)上的文件导出到电脑上,或者把电脑的图片导入手机里做测试用,我们可以用第三方的软件管理工具直接复制粘贴,也可以直接通过adb命令导入和导出. adb ...

  5. Python实现鸢尾花数据集分类问题——基于skearn的NaiveBayes

    Python实现鸢尾花数据集分类问题——基于skearn的NaiveBayes 代码如下: # !/usr/bin/env python # encoding: utf-8 __author__ = ...

  6. Python实现鸢尾花数据集分类问题——基于skearn的LogisticRegression

    Python实现鸢尾花数据集分类问题——基于skearn的LogisticRegression 一. 逻辑回归 逻辑回归(Logistic Regression)是用于处理因变量为分类变量的回归问题, ...

  7. Python实现鸢尾花数据集分类问题——基于skearn的SVM

    Python实现鸢尾花数据集分类问题——基于skearn的SVM 代码如下: # !/usr/bin/env python # encoding: utf-8 __author__ = 'Xiaoli ...

  8. Python模块及其导入

    一.模块 1.模块的定义: 为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文件包含的代码就相对较少, 很多编程语言都采用这种组织代码的方式.在Python中,一个.py文件 ...

  9. 将.dat文件导入数据库

    *最近在搞文本分类,就是把一批文章分成[军事].[娱乐].[政治]等等. 但是这个先需要一些样本进行训练,感觉文本分类和"按图索骥"差不多,训练的文章样本就是"图&quo ...

随机推荐

  1. AJAX-----01远古时期的ajax

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  2. [CrunchBang]修改win+ubuntu 双 系统菜单的 启动顺序 引导

    说到启动就不得不说GRUB,Linux下大名鼎鼎的启动管理工具(曾经的LILO已经风光不再),当然现在已经是GRUB2了,GRUB2和GRUB最重要的区别就是,GRUB存放系统启动信息的文件为/boo ...

  3. maven常见错误

    摘要: 1.Java-maven异常-cannot be cast to javax.servlet.Filter 报错  tomcat 启动后先将tomcat/lib目录下的jar包全部读入内存,如 ...

  4. Python之反射

    一.引言 有时候我们会碰到类似这样的需求,就是想要执行类的某个方法,或者需要对对象的某个参数赋值,而方法名或参数名已经包装在类中并不能去顶,需要通过参数传递字符串的形式输入.在这样的情况你会选择什么样 ...

  5. oracle分析函数

    在工作中使用到的分析函数主要有两种,一个是sum () over (partition by ……order by ……)另外一个就是 lead(lag)over (|partition by|ord ...

  6. JavaGUI——设置框架背景颜色和按钮颜色

    import java.awt.Color; import javax.swing.*; public class MyDraw { public static void main(String[] ...

  7. 【Unity3D游戏开发】NGUI之多分辨率下完美分布式协同开发 (五)

    NGUI多分辨率下完美分布式协同开发:不同分辨率下相对于屏幕坐标的Perfab数据不再丢失 NGUI多分辨率下完美分布式协同开发不同分辨率下相对于屏幕坐标的Perfab数据不再丢失 开发问题 原因分析 ...

  8. Giving Data Backup Option in Oracle Forms 6i

    Suppose you want to give the data backup option in Oracle Forms application to some client users, wh ...

  9. 用excel绘制基因芯片热力图

    1.  首先我们通过一些方法得到了如下的数据,基于篇幅以及为了教学隐去了其他一些信息. 2. 选中表达数据,执行 开始—条件格式—色阶 选择一个合适的色阶: 3. 选择好颜色之后得到了如下结果:

  10. 深入浅出设计模式——解释器模式(Interpreter Pattern)

    模式动机 如果在系统中某一特定类型的问题发生的频率很高,此时可以考虑将这些问题的实例表述为一个语言中的句子,因此可以构建一个解释器,该解释器通过解释这些句子来解决这些问题.解释器模式描述了如何构成一个 ...