weka数据挖掘拾遗（二）---- 特征选择（IG、chi-square)

一、说明

　　IG是information gain 的缩写，中文名称是信息增益，是选择特征的一个很有效的方法（特别是在使用svm分类时）。这里不做详细介绍，有兴趣的可以googling一下。

　　chi-square 是一个常用特征筛选方法，在种子词扩展那篇文章中，有详细说明，这里不再赘述。

二、weka中的使用方法

　　1、特征筛选代码

 package com.lvxinjian.alg.models.feature;

 import java.nio.charset.Charset;
 import java.util.ArrayList;

 import weka.attributeSelection.ASEvaluation;
 import weka.attributeSelection.AttributeEvaluator;
 import weka.attributeSelection.Ranker;
 import weka.core.Instances;

 import com.iminer.tool.common.util.FileTool;
 /**
  * @Description : 使用Weka的特征筛选方法（目前支持IG、Chi-square）
  * @author Lv Xinjian
  *
  */
 public class FeatureSelectorByWeka {

     /**
      * @function 使用weka内置的算法筛选特征
      * @param eval 特征筛选方法的对象实例
      * @param data arff格式的数据
      * @param maxNumberOfAttribute 支持的最大的特征个数
      * @param outputPath lex输出文件
      * @throws Exception
      */
     public void EvalueAndRank(ASEvaluation eval , Instances data ,int maxNumberOfAttribute , String outputPath) throws Exception
     {
         Ranker rank = new Ranker();
         eval.buildEvaluator(data);
         rank.search(eval, data);

          // 按照特定搜索算法对属性进行筛选 在这里使用的Ranker算法仅仅是属性按照InfoGain/Chi-square的大小进行排序
         int[] attrIndex = rank.search(eval, data);

          // 打印结果信息 在这里我们了属性的排序结果
         ArrayList<String> attributeWords = new ArrayList<String>();
         for (int i = 0; i < attrIndex.length; i++) {
             //如果权重等于0，则跳出循环
             if (((AttributeEvaluator) eval).evaluateAttribute(attrIndex[i]) == 0)
                 break;
             if (i >= maxNumberOfAttribute)
                 break;
             attributeWords.add(i + "\t"
                     + data.attribute(attrIndex[i]).name() + "\t" + "1");
         }
         FileTool.SaveListToFile(attributeWords, outputPath, false,
                 Charset.forName("utf8"));
     }

 }

 package com.lvxinjian.alg.models.feature;

 import java.io.IOException;

 import weka.attributeSelection.ASEvaluation;
 import weka.attributeSelection.ChiSquaredAttributeEval;
 import weka.attributeSelection.InfoGainAttributeEval;
 import weka.core.Instances;
 import weka.core.converters.ConverterUtils.DataSource;

 import com.iminer.alg.models.generatefile.ParameterUtils;

 /**
  * @Description : IG、Chi-square特征筛选
  * @author Lv Xinjian
  *
  */
 public class WekaFeatureSelector extends FeatureSelector{        

     /**
      * 最大的特征个数
      */
     private int maxFeatureNum = 10000;
     /**
      * 特征文件保存路径
      */
     private String outputPath = null;
     /**
      * @Fields rule 对于特征过滤的规则
      */
     private String classname = "CLASS";
     /**
      * 特征筛选方法，默认为IG
      */
     private String selectMethod = "IG";

     private boolean Initialization(String options){
         try {
             String [] paramArrayOfString = options.split(" ");

             //初始化特征最大个数
             String maxFeatureNum = ParameterUtils.getOption("maxFeatureNum", paramArrayOfString);
             if(maxFeatureNum.length() != 0)
                 this.maxFeatureNum = Integer.parseInt(maxFeatureNum);
             //初始化类别
             String classname = ParameterUtils.getOption("class", paramArrayOfString);
             if(classname.length() != 0)
                 this.classname = classname;
             else{
                 System.out.println("use default class name(\"CLASS\")");
             }
             //初始化特征保存路径
             String outputPath = ParameterUtils.getOption("outputPath", paramArrayOfString);
             if(outputPath.length() != 0)
                 this.outputPath = outputPath;
             else{
                 System.out.println("please initialze output path.");
                 return false;
             }
             String selectMethod = ParameterUtils.getOption("selectMethod", paramArrayOfString);
             if(selectMethod.length() != 0)
                 this.selectMethod = selectMethod;
             else{
                 System.out.println("use default select method(IG)");
             }
         } catch (Exception e) {
             e.printStackTrace();
             return false;
         }
         return true;
     }
     @Override
     public boolean selectFeature(Object obj ,String options) throws IOException {
         try {
             if(!Initialization(options))
                 return false;
             Instances data = (Instances)obj;
             data.setClass(data.attribute(this.classname));
             ASEvaluation selector = null;
             if(this.selectMethod.equals("IG"))
                 selector = new InfoGainAttributeEval();
             else if(this.selectMethod.equals("CHI"))
                 selector = new ChiSquaredAttributeEval();
             FeatureSelectorByWeka attributeSelector = new FeatureSelectorByWeka();
             attributeSelector.EvalueAndRank(selector, data ,this.maxFeatureNum ,this.outputPath);
         } catch (Exception e) {
             // TODO Auto-generated catch block
             e.printStackTrace();
         }

         return true;
     }

     public static void main(String [] args) throws Exception
     {
         String root = "C:\\Users\\Administrator\\Desktop\\12_05\\模型训练\\1219\\";
         WekaFeatureSelector selector = new WekaFeatureSelector();
         Instances data = DataSource.read(root + "train.Bigram.arff");
         String options = "-maxFeatureNum 10000 -outputPath lex.txt";
         selector.selectFeature(data, options);
     }
 }

三、小结

　　其实weka中还提供了一些其它的内嵌特征选择方法，用起来也比较省事儿，但是这里不在赘述。