Kmeans算是是聚类中的经典算法。步骤例如以下:

选择K个点作为初始质心

repeat

将每一个点指派到近期的质心,形成K个簇

又一次计算每一个簇的质心

until 簇不发生变化或达到最大迭代次数

算法中的K须要人为的指定。确定K的做法有非常多,比方多次进行试探。计算误差。得出最好的K。这样须要比較长的时间。我们能够依据Canopy算法来粗略确定K值(能够觉得相等)。看一下Canopy算法的过程:

(1)设样本集合为S。确定两个阈值t1和t2,且t1>t2。

(2)任取一个样本点p。作为一个Canopy,记为C,从S中移除p。

(3)计算S中全部点到p的距离dist

(4)若dist<t1。则将对应点归到C,作为弱关联。

(5)若dist<t2。则将对应点移出S,作为强关联。

(6)反复(2)~(5),直至S为空。

Canopy 个数全然能够作为这个K值,一定程度上降低了选择K的盲目性。

以下通过Canopy算法对一些点进行计算Canopy的个数。假设只计算K值,则T1没有不论什么作用,之用指定T2就可以。这里使用全部点的平均距离的一半来作为T2.

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153
package cn.edu.ustc.dm.cluster;



import java.util.ArrayList;

import java.util.List;



import cn.edu.ustc.dm.bean.Point;



/**

 * Canopy算法 借助canopy算法计算相应的Kmeans中的K值大小

 * 当中对于计算K值来说。canopy算法中的T1没有意义,仅仅用设定T2(T1>T2) 我们这里将T2设置为平均距离

 * 

 * @author YD

 *

 */

public class Canopy {

    private List<Point> points = new ArrayList<Point>(); // 进行聚类的点

    private List<List<Point>> clusters = new ArrayList<List<Point>>(); // 存储簇

    private double T2 = -1; // 阈值



    public Canopy(List<Point> points) {

        for (Point point : points)

            // 进行深拷贝

            this.points.add(point);

    }



    /**

     * 进行聚类,依照Canopy算法进行计算,将全部点进行聚类

     */

    public void cluster() {

        T2 = getAverageDistance(points);

        while (points.size() != 0) {

            List<Point> cluster = new ArrayList<Point>();

            Point basePoint = points.get(0); // 基准点

            cluster.add(basePoint);

            points.remove(0);

            int index = 0;

            while (index < points.size()) {

                Point anotherPoint = points.get(index);

                double distance = Math.sqrt((basePoint.x - anotherPoint.x)

                        * (basePoint.x - anotherPoint.x)

                        + (basePoint.y - anotherPoint.y)

                        * (basePoint.y - anotherPoint.y));

                if (distance <= T2) {

                    cluster.add(anotherPoint);

                    points.remove(index);

                } else {

                    index++;

                }

            }

            clusters.add(cluster);

        }

    }



    /**

     * 得到Cluster的数目

     * 

     * @return 数目

     */

    public int getClusterNumber() {

        return clusters.size();

    }



    /**

     * 获取Cluster相应的中心点(各点相加求平均)

     * 

     * @return

     */

    public List<Point> getClusterCenterPoints() {

        List<Point> centerPoints = new ArrayList<Point>();

        for (List<Point> cluster : clusters) {

            centerPoints.add(getCenterPoint(cluster));

        }

        return centerPoints;

    }



    /**

     * 得到的中心点(各点相加求平均)

     * 

     * @return 返回中心点

     */

    private double getAverageDistance(List<Point> points) {

        double sum = 0;

        int pointSize = points.size();

        for (int i = 0; i < pointSize; i++) {

            for (int j = 0; j < pointSize; j++) {

                if (i == j)

                    continue;

                Point pointA = points.get(i);

                Point pointB = points.get(j);

                sum += Math.sqrt((pointA.x - pointB.x) * (pointA.x - pointB.x)

                        + (pointA.y - pointB.y) * (pointA.y - pointB.y));

            }

        }

        int distanceNumber = pointSize * (pointSize + 1) / 2;

        double T2 = sum / distanceNumber / 2; // 平均距离的一半

        return T2;

    }



    /**

     * 得到的中心点(各点相加求平均)

     * 

     * @return 返回中心点

     */

    private Point getCenterPoint(List<Point> points) {

        double sumX = 0;

        double sumY = 0;

        for (Point point : points) {

            sumX += point.x;

            sumY += point.y;

        }

        int clusterSize = points.size();

        Point centerPoint = new Point(sumX / clusterSize, sumY / clusterSize);

        return centerPoint;

    }



    /**

     * 获取阈值T2

     * 

     * @return 阈值T2

     */

    public double getThreshold() {

        return T2;

    }

    

    /**

     * 測试9个点。进行操作

     * @param args

     */

    public static void main(String[] args) {

        List<Point> points = new ArrayList<Point>();

        points.add(new Point(0, 0));

        points.add(new Point(0, 1));

        points.add(new Point(1, 0));



        points.add(new Point(5, 5));

        points.add(new Point(5, 6));

        points.add(new Point(6, 5));



        points.add(new Point(10, 2));

        points.add(new Point(10, 3));

        points.add(new Point(11, 3));



        Canopy canopy = new Canopy(points);

        canopy.cluster();



                //获取canopy数目

        int clusterNumber = canopy.getClusterNumber();

        System.out.println(clusterNumber);



                //获取canopy中T2的值

        System.out.println(canopy.getThreshold());

    }

}

以上代码是对9个点使用Canopy算法进行计算,获取Canopy数目,也即K。

很多其它文章请前往小胖轩.

Canopy算法计算聚类的簇数的更多相关文章

  1. R数据挖掘 第三篇:聚类的评估(簇数确定和轮廓系数)和可视化

    在实际的聚类应用中,通常使用k-均值和k-中心化算法来进行聚类分析,这两种算法都需要输入簇数,为了保证聚类的质量,应该首先确定最佳的簇数,并使用轮廓系数来评估聚类的结果. 一,k-均值法确定最佳的簇数 ...

  2. mahout中kmeans算法和Canopy算法实现原理

    本文讲一下mahout中kmeans算法和Canopy算法实现原理. 一. Kmeans是一个很经典的聚类算法,我想大家都非常熟悉.虽然算法较为简单,在实际应用中却可以有不错的效果:其算法原理也决定了 ...

  3. Canopy算法聚类

    Canopy一般用在Kmeans之前的粗聚类.考虑到Kmeans在使用上必须要确定K的大小,而往往数据集预先不能确定K的值大小的,这样如果 K取的不合理会带来K均值的误差很大(也就是说K均值对噪声的抗 ...

  4. 机器学习算法-K-means聚类

    引文: k均值算法是一种聚类算法.所谓聚类.他是一种无监督学习,将类似的对象归到同一个蔟中.蔟内的对象越类似,聚类的效果越好. 聚类和分类最大的不同在于.分类的目标事先已知.而聚类则不一样. 由于其产 ...

  5. Mahout 系列之--canopy 算法

    Canopy 算法,流程简单,容易实现,一下是算法 (1)设样本集合为S,确定两个阈值t1和t2,且t1>t2. (2)任取一个样本点p属于S,作为一个Canopy,记为C,从S中移除p. (3 ...

  6. Python机器学习算法 — K-Means聚类

    K-Means简介 步,直到每个簇的中心基本不再变化: 6)将结果输出. K-Means的说明 如图所示,数据样本用圆点表示,每个簇的中心点用叉叉表示:       (a)刚开始时是原始数据,杂乱无章 ...

  7. Spark MLlib架构解析(含分类算法、回归算法、聚类算法和协同过滤)

    Spark MLlib架构解析 MLlib的底层基础解析 MLlib的算法库分析 分类算法 回归算法 聚类算法 协同过滤 MLlib的实用程序分析 从架构图可以看出MLlib主要包含三个部分: 底层基 ...

  8. mahout之canopy算法简单理解

    canopy是聚类算法的一种实现 它是一种快速,简单,但是不太准确的聚类算法 canopy通过两个人为确定的阈值t1,t2来对数据进行计算,可以达到将一堆混乱的数据分类成有一定规则的n个数据堆 由于c ...

  9. 数据挖掘算法之聚类分析(二)canopy算法

    canopy是聚类算法的一种实现 它是一种快速,简单,但是不太准确的聚类算法 canopy通过两个人为确定的阈值t1,t2来对数据进行计算,可以达到将一堆混乱的数据分类成有一定规则的n个数据堆 由于c ...

随机推荐

  1. Matlab vs Python 作图

    -- Matlab 作图示例 x=-3:0.00003:3; y1=sin(x)./x; y2=x./sin(x); plot(x,y1,x,y2); -- Python 作图示例 import nu ...

  2. Java 8 (9) Optional取代null

    NullPointerException,大家应该都见过.这是Tony Hoare在设计ALGOL W语言时提出的null引用的想法,他的设计初衷是想通过编译器的自动检测机制,确保所有使用引用的地方都 ...

  3. Objective-C设计模式——生成器Builder(对象创建)

    生成器 生成器,也成为建造者模式,同样是创建对象时的设计模式.该模式下有一个Director(指挥者),客户端知道该类引用用来创建产品.还有一个Builder(建造者),建造者知道具体创建对象的细节. ...

  4. Linux shell脚本中 数组的声明:

    数组的声明: 1)array[key]=value # array[0]=one,array[1]=two 复制代码 2)declare -a array # array被当作数组名 复制代码 3)a ...

  5. Android集成微信分享功能应用签名生成方法及分享不生效的问题

    通过友盟sdk集成微博.微信.qq等分享功能时,微博和qq很顺利,但在做微信集成时一直不成功.主要问题还是之前在微信开放平台申请创建移动应用时,对应用签名没有填写对,走了很多弯路现总结出来,加深记忆避 ...

  6. RecylerView为item添加点击事件

    RecyclerView侧重的是布局的灵活性,虽说可以替代ListView但是连基本的点击事件都没有,这篇文章就来详细讲解如何为RecyclerView的item添加点击事件. 1 原理: 为Recy ...

  7. 对SNL语言的解释器实现尾递归优化

    对于SNL语言解释器的内容可以参考我的前一篇文章<使用antlr4及java实现snl语言的解释器>.此文只讲一下"尾递归优化"是如何实现的--"尾递归优化& ...

  8. 最优化方法系列:Adam+SGD—>AMSGrad

    自动调参的Adam方法已经非常给力了,不过这主要流行于工程界,在大多数科学实验室中,模型调参依然使用了传统的SGD方法,在SGD基础上增加各类学习率的主动控制,以达到对复杂模型的精细调参,以达到刷出最 ...

  9. UEditer的使用

    1.首先到官网下载http://ueditor.baidu.com/website/download.html#ueditor 2.然后把解压后的文件复制到项目中(放在UEditer中),如图 3.在 ...

  10. RabbitMQ系列(二)--基础组件

    声明:对于RabbitMQ的学习基于某课网相关视频和<RabbitMQ实战指南>一书,后续关于RabbitMQ的博客都是基于二者 一.什么是RabbitMQ RabbitMQ是开源代理和队 ...