package {             start = utils.MinInt(options.OutputOffset, len(outputDocs))             end = utils.MinInt(options.OutputOffset+options.MaxOutputs, len(outputDocs))         } else {             start = utils.MinInt(options.OutputOffset, len(out…

本文主要讨论了auc的实际意义,并给出了auc的常规计算方法及其证明 转载请注明出处:http://www.cnblogs.com/van19/p/5494908.html 1 ROC曲线和auc 从二分类说起,假设我们的样本全集里,所有样本的真实标签(label)为0或1,其中1表示正样本,0表示负样本,如果我们有一个分类模型,利用它对样本进行了标注,那边我们可以得到下面的划分 truth predictor TP FP FN TN TP(true positive):表示正确的肯定 TN(…

写在前面,metric2t指标详解: NDCG(Normalized discounted cumulative gain)即DCG/IDCGCG(cumulative gain)DCG(Discounted Cumulative Gain)MAP(Mean Average Precision)MRR(Mean Reciprocal Rank) Usage: java -jar RankLib.jar <Params>Params: [+] Training (+ tuning and eva…

1.简介 数据挖掘.机器学习这些字眼,在一些人看来,是门槛很高的东西.诚然,如果做算法实现甚至算法优化,确实需要很多背景知识.但事实是,绝大多数数据挖掘工程师,不需要去做算法层面的东西.他们的精力,集中在特征提取,算法选择和参数调优上.那么,一个可以方便地提供这些功能的工具,便是十分必要的了.而weka,便是数据挖掘工具中的佼佼者. Weka的全名是怀卡托智能分析环境(Waikato Environment for Knowledge Analysis),是一款免费的,非商业化的,基于JAVA环…

由于在win8.1下安装 选的这个版本 Win64 binaries w/MySQL+PgSQL+libstemmer+id64 support 2.2.6-release 7.3M 下载页面 http://sphinxsearch.com/downloads/release/ 1.编辑配置文件 下载完 解压 到其中一个目录下 首先配置sphinx 配置文件 解压后sphinx目录下有个sphinx.conf.in 复制到bin目录下 并改名 sphinx.conf 配置如下 需要改的几个参数…

(转) http://baidutech.blog.51cto.com/4114344/1033714/ 1.简介 数据挖掘.机器学习这些字眼,在一些人看来,是门槛很高的东西.诚然,如果做算法实现甚至算法优化,确实需要很多背景知识.但事实是,绝大多数数据挖掘工程师,不需要去做算法层面的东西.他们的精力,集中在特征提取,算法选择和参数调优上.那么,一个可以方便地提供这些功能的工具,便是十分必要的了.而weka,便是数据挖掘工具中的佼佼者. Weka的全名是怀卡托智能分析环境(Waikato Env…

看过这篇博客的都应该明白,特征选择代码实现应该包括3个部分: 搜索算法: 评估函数: 数据: 因此,代码的一般形式为: AttributeSelection attsel = new AttributeSelection(); // create and initiate a new AttributeSelection instanceRanker search = new Ranker(); // choose a search methodPrincipalComponents eval…

一.说明 IG是information gain 的缩写,中文名称是信息增益,是选择特征的一个很有效的方法(特别是在使用svm分类时).这里不做详细介绍,有兴趣的可以googling一下. chi-square 是一个常用特征筛选方法,在种子词扩展那篇文章中,有详细说明,这里不再赘述. 二.weka中的使用方法 1.特征筛选代码 package com.lvxinjian.alg.models.feature; import java.nio.charset.Charset; import ja…

先上效果图 加入sphinx类库(/application/libraries/sphinx_client.php) 0001 <?php 0002 0003 // 0004 // $Id: sphinxapi.php 2055 2009-11-06 23:09:58Z shodan $ 0005 // 0006 0007 // 0008 // Copyright (c) 2001-2008, Andrew Aksyonoff. All rights reserved. 0009 // 0010…

shpinx.php <?php header("Content-type:text/html;charset=utf-8"); include 'SphinxClient.php'; $cl = new SphinxClient(); $cl->SetServer('localhost',9312); $cl->SetMatchMode(SPH_MATCH_ALL); $cl->SetArrayResult(true); $res = $cl->Quer…