Python中Collections模块的Counter容器类使用教程

1.collections模块

collections模块自Python 2.4版本开始被引入，包含了dict、set、list、tuple以外的一些特殊的容器类型，分别是：

OrderedDict类：排序字典，是字典的子类。引入自2.7。
namedtuple()函数：命名元组，是一个工厂函数。引入自2.6。
Counter类：为hashable对象计数，是字典的子类。引入自2.7。
deque：双向队列。引入自2.4。
defaultdict：使用工厂函数创建字典，使不用考虑缺失的字典键。引入自2.5。
文档参见：http://docs.python.org/2/library/collections.html。

2.Counter类

Counter类的目的是用来跟踪值出现的次数。它是一个无序的容器类型，以字典的键值对形式存储，其中元素作为key，其计数作为value。计数值可以是任意的Interger（包括0和负数）。Counter类和其他语言的bags或multisets很相似。

2.1 创建

下面的代码说明了Counter类创建的四种方法：

Counter类的创建Python

>>> c = Counter() # 创建一个空的Counter类

>>> c = Counter('gallahad') # 从一个可iterable对象（list、tuple、dict、字符串等）创建

>>> c = Counter({'a': 4, 'b': 2}) # 从一个字典对象创建

>>> c = Counter(a=4, b=2) # 从一组键值对创建

>>> c = Counter() # 创建一个空的Counter类

>>> c = Counter('gallahad') # 从一个可iterable对象（list、tuple、dict、字符串等）创建

>>> c = Counter({'a': 4, 'b': 2}) # 从一个字典对象创建

>>> c = Counter(a=4, b=2) # 从一组键值对创建

2.2 计数值的访问与缺失的键

当所访问的键不存在时，返回0，而不是KeyError；否则返回它的计数。

计数值的访问Python

>>> c = Counter("abcdefgab")

>>> c["a"]

2

>>> c["c"]

1

>>> c["h"]

0

>>> c = Counter("abcdefgab")

>>> c["a"]

2

>>> c["c"]

1

>>> c["h"]

0

2.3 计数器的更新（update和subtract）

可以使用一个iterable对象或者另一个Counter对象来更新键值。

计数器的更新包括增加和减少两种。其中，增加使用update()方法：

计数器的更新（update）Python

>>> c = Counter('which')

>>> c.update('witch') # 使用另一个iterable对象更新

>>> c['h']

3

>>> d = Counter('watch')

>>> c.update(d) # 使用另一个Counter对象更新

>>> c['h']

4

>>> c = Counter('which')

>>> c.update('witch') # 使用另一个iterable对象更新

>>> c['h']

3

>>> d = Counter('watch')

>>> c.update(d) # 使用另一个Counter对象更新

>>> c['h']

4

减少则使用subtract()方法：

计数器的更新（subtract）Python

>>> c = Counter('which')

>>> c.subtract('witch') # 使用另一个iterable对象更新

>>> c['h']

1

>>> d = Counter('watch')

>>> c.subtract(d) # 使用另一个Counter对象更新

>>> c['a']

-1

>>> c = Counter('which')

>>> c.subtract('witch') # 使用另一个iterable对象更新

>>> c['h']

1

>>> d = Counter('watch')

>>> c.subtract(d) # 使用另一个Counter对象更新

>>> c['a']

-1

2.4 键的删除

当计数值为0时，并不意味着元素被删除，删除元素应当使用del。

键的删除Python

>>> c = Counter("abcdcba")

>>> c

Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

>>> c["b"] = 0

>>> c

Counter({'a': 2, 'c': 2, 'd': 1, 'b': 0})

>>> del c["a"]

>>> c

Counter({'c': 2, 'b': 2, 'd': 1})

>>> c = Counter("abcdcba")

>>> c

Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

>>> c["b"] = 0

>>> c

Counter({'a': 2, 'c': 2, 'd': 1, 'b': 0})

>>> del c["a"]

>>> c

Counter({'c': 2, 'b': 2, 'd': 1})

2.5 elements()

返回一个迭代器。元素被重复了多少次，在该迭代器中就包含多少个该元素。所有元素按照字母序排序，个数小于1的元素不被包含。

elements()方法Python

>>> c = Counter(a=4, b=2, c=0, d=-2)

>>> list(c.elements())

['a', 'a', 'a', 'a', 'b', 'b']

>>> c = Counter(a=4, b=2, c=0, d=-2)

>>> list(c.elements())

['a', 'a', 'a', 'a', 'b', 'b']

2.6 most_common([n])

返回一个TopN列表。如果n没有被指定，则返回所有元素。当多个元素计数值相同时，按照字母序排列。

most_common()方法Python

>>> c = Counter('abracadabra')

>>> c.most_common()

[('a', 5), ('r', 2), ('b', 2), ('c', 1), ('d', 1)]

>>> c.most_common(3)

[('a', 5), ('r', 2), ('b', 2)]

>>> c = Counter('abracadabra')

>>> c.most_common()

[('a', 5), ('r', 2), ('b', 2), ('c', 1), ('d', 1)]

>>> c.most_common(3)

[('a', 5), ('r', 2), ('b', 2)]

2.7 fromkeys

未实现的类方法。

2.8 浅拷贝copy

浅拷贝copyPython

>>> c = Counter("abcdcba")

>>> c

Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

>>> d = c.copy()

>>> d

Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

>>> c = Counter("abcdcba")

>>> c

Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

>>> d = c.copy()

>>> d

Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

2.9 算术和集合操作

+、-、&、|操作也可以用于Counter。其中&和|操作分别返回两个Counter对象各元素的最小值和最大值。需要注意的是，得到的Counter对象将删除小于1的元素。

Counter对象的算术和集合操作Python

>>> c = Counter(a=3, b=1)

>>> d = Counter(a=1, b=2)

>>> c + d # c[x] + d[x]

Counter({'a': 4, 'b': 3})

>>> c - d # subtract（只保留正数计数的元素）

Counter({'a': 2})

>>> c & d # 交集: min(c[x], d[x])

Counter({'a': 1, 'b': 1})

>>> c | d # 并集: max(c[x], d[x])

Counter({'a': 3, 'b': 2})

>>> c = Counter(a=3, b=1)

>>> d = Counter(a=1, b=2)

>>> c + d # c[x] + d[x]

Counter({'a': 4, 'b': 3})

>>> c - d # subtract（只保留正数计数的元素）

Counter({'a': 2})

>>> c & d # 交集: min(c[x], d[x])

Counter({'a': 1, 'b': 1})

>>> c | d # 并集: max(c[x], d[x])

Counter({'a': 3, 'b': 2})

3.常用操作

下面是一些Counter类的常用操作，来源于Python官方文档

Counter类常用操作Python

sum(c.values()) # 所有计数的总数

c.clear() # 重置Counter对象，注意不是删除

list(c) # 将c中的键转为列表

set(c) # 将c中的键转为set

dict(c) # 将c中的键值对转为字典

c.items() # 转为(elem, cnt)格式的列表

Counter(dict(list_of_pairs)) # 从(elem, cnt)格式的列表转换为Counter类对象

c.most_common()[:-n:-1] # 取出计数最少的n个元素

c += Counter() # 移除0和负值

sum(c.values()) # 所有计数的总数

c.clear() # 重置Counter对象，注意不是删除

list(c) # 将c中的键转为列表

set(c) # 将c中的键转为set

dict(c) # 将c中的键值对转为字典

c.items() # 转为(elem, cnt)格式的列表

Counter(dict(list_of_pairs)) # 从(elem, cnt)格式的列表转换为Counter类对象

c.most_common()[:-n:-1] # 取出计数最少的n个元素

c += Counter() # 移除0和负值

4.实例
4.1判断两个字符串是否由相同的字母集合调换顺序而成的（anagram）

def is_anagram(word1, word2):

"""Checks whether the words are anagrams.

word1: string

word2: string

returns: boolean

"""

return Counter(word1) == Counter(word2)

Counter如果传入的参数是字符串，就会统计字符串中每个字符出现的次数，如果两个字符串由相同的字母集合颠倒顺序而成，则它们Counter的结果应该是一样的。

4.2多元集合(MultiSets)
multiset是相同元素可以出现多次的集合，Counter可以非常自然地用来表示multiset。并且可以将Counter扩展，使之拥有set的一些操作如is_subset。

class Multiset(Counter):

"""A multiset is a set where elements can appear more than once."""

def is_subset(self, other):

"""Checks whether self is a subset of other.

other: Multiset

returns: boolean

"""

for char, count in self.items():

if other[char] < count:

return False

return True

# map the <= operator to is_subset

__le__ = is_subset

4.3概率质量函数
概率质量函数（probability mass function，简写为pmf）是离散随机变量在各特定取值上的概率。可以利用Counter表示概率质量函数。

class Pmf(Counter):

"""A Counter with probabilities."""

def normalize(self):

"""Normalizes the PMF so the probabilities add to 1."""

total = float(sum(self.values()))

for key in self:

self[key] /= total

def __add__(self, other):

"""Adds two distributions.

The result is the distribution of sums of values from the

two distributions.

other: Pmf

returns: new Pmf

"""

pmf = Pmf()

for key1, prob1 in self.items():

for key2, prob2 in other.items():

pmf[key1 + key2] += prob1 * prob2

return pmf

def __hash__(self):

"""Returns an integer hash value."""

return id(self)

def __eq__(self, other):

return self is other

def render(self):

"""Returns values and their probabilities, suitable for plotting."""

return zip(*sorted(self.items()))

normalize: 归一化随机变量出现的概率，使它们之和为1
add: 返回的是两个随机变量分布两两组合之和的新的概率质量函数
render: 返回按值排序的(value, probability)的组合对，方便画图的时候使用
下面以骰子（ps: 这个竟然念tou子。。。）作为例子。

d6 = Pmf([1,2,3,4,5,6])

d6.normalize()

d6.name = 'one die'

print(d6)

Pmf({1: 0.16666666666666666, 2: 0.16666666666666666, 3: 0.16666666666666666, 4: 0.16666666666666666, 5: 0.16666666666666666, 6: 0.16666666666666666})

使用add，我们可以计算出两个骰子和的分布：

d6_twice = d6 + d6

d6_twice.name = 'two dices'

for key, prob in d6_twice.items():

print(key, prob)

借助numpy.sum，我们可以直接计算三个骰子和的分布：

import numpy as np

d6_thrice = np.sum([d6]*3)

d6_thrice.name = 'three dices'

最后可以使用render返回结果，利用matplotlib把结果画图表示出来：

for die in [d6, d6_twice, d6_thrice]:

xs, ys = die.render()

pyplot.plot(xs, ys, label=die.name, linewidth=3, alpha=0.5)

pyplot.xlabel('Total')

pyplot.ylabel('Probability')

pyplot.legend()

pyplot.show()

结果如下：

4.4贝叶斯统计
我们继续用掷骰子的例子来说明用Counter如何实现贝叶斯统计。现在假设，一个盒子中有5种不同的骰子，分别是：4面、6面、8面、12面和20面的。假设我们随机从盒子中取出一个骰子，投出的骰子的点数为6。那么，取得那5个不同骰子的概率分别是多少？
（1）首先，我们需要生成每个骰子的概率质量函数：

def make_die(num_sides):

die = Pmf(range(1, num_sides+1))

die.name = 'd%d' % num_sides

die.normalize()

return die

dice = [make_die(x) for x in [4, 6, 8, 12, 20]]

print(dice)

（2）接下来，定义一个抽象类Suite。Suite是一个概率质量函数表示了一组假设(hypotheses)及其概率分布。Suite类包含一个bayesian_update函数，用来基于新的数据来更新假设(hypotheses)的概率。

class Suite(Pmf):

"""Map from hypothesis to probability."""

def bayesian_update(self, data):

"""Performs a Bayesian update.

Note: called bayesian_update to avoid overriding dict.update

data: result of a die roll

"""

for hypo in self:

like = self.likelihood(data, hypo)

self[hypo] *= like

self.normalize()

其中的likelihood函数由各个类继承后，自己实现不同的计算方法。

（3）定义DiceSuite类，它继承了类Suite。

class DiceSuite(Suite):

def likelihood(self, data, hypo):

"""Computes the likelihood of the data under the hypothesis.

data: result of a die roll

hypo: Die object

"""

return hypo[data]

并且实现了likelihood函数，其中传入的两个参数为： data: 观察到的骰子掷出的点数，如本例中的6 hypo: 可能掷出的那个骰子

（4）将第一步创建的dice传给DiceSuite，然后根据给定的值，就可以得出相应的结果。

dice_suite = DiceSuite(dice)

dice_suite.bayesian_update(6)

for die, prob in sorted(dice_suite.items()):

print die.name, prob

d4 0.0

d6 0.392156862745

d8 0.294117647059

d12 0.196078431373

d20 0.117647058824

正如，我们所期望的4个面的骰子的概率为0（因为4个面的点数只可能为0~4），而6个面的和8个面的概率最大。现在，假设我们又掷了一次骰子，这次出现的点数是8，重新计算概率：

dice_suite.bayesian_update(8)

for die, prob in sorted(dice_suite.items()):

print die.name, prob

d4 0.0

d6 0.0

d8 0.623268698061

d12 0.277008310249

d20 0.0997229916898

现在可以看到6个面的骰子也被排除了。8个面的骰子是最有可能的。
以上的几个例子，展示了Counter的用处。实际中，Counter的使用还比较少，如果能够恰当的使用起来将会带来非常多的方便。

Python中Collections模块的Counter容器类使用教程的更多相关文章

Python中collections模块
目录 Python中collections模块 Counter defaultdict OrderedDict namedtuple deque ChainMap Python中collections ...
转载：Python中collections模块
转载自:Python中collections模块目录 Python中collections模块 Counter defaultdict OrderedDict namedtuple deque Ch ...
Python中collections模块的使用
本文将详细讲解collections模块中的所有类,和每个类中的方法,从源码和性能的角度剖析. 一个模块主要用来干嘛,有哪些类可以使用,看__init__.py就知道 '''This module i ...
python：collections模块
Counter类介绍:A counter tool is provided to support convenient and rapid tallies 构造:class collections. ...
Python标准库——collections模块的Counter类
1.collections模块 collections模块自Python 2.4版本开始被引入,包含了dict.set.list.tuple以外的一些特殊的容器类型,分别是: OrderedDict类 ...
Python的collections模块中namedtuple结构使用示例
namedtuple顾名思义,就是名字+元组的数据结构,下面就来看一下Python的collections模块中namedtuple结构使用示例 namedtuple 就是命名的 tuple,比较 ...
python的Collections 模块
Collections 模块知识点 Counter 类 defaultdict 类 namedtuple 类在这个实验我们会学习 Collections 模块.这个模块实现了一些很好的数据结构,它 ...
python 历险记(五）— python 中的模块
目录前言基础模块化程序设计模块化有哪些好处? 什么是 python 中的模块? 引入模块有几种方式? 模块的查找顺序模块中包含执行语句的情况用 dir() 函数来窥探模块 python 的 ...
python之collections模块（OrderDict,defaultdict）
前言: import collections print([name for name in dir(collections) if not name.startswith("_" ...

随机推荐

freemarker数据格式化问题(即数值超过三位后自动添加逗号问题)
实际数据:{value:1007, name:'通用设备'}, 浏览器回显数据: 得出: freemarker 当数据超过3位的时候,会自动用逗号截取格式如:1,007 解决办法: 加?c,如:${ ...
WC集训DAY2笔记组合计数 part.1
目录 WC集训DAY2笔记组合计数 part.1 基础知识组合恒等式错排数卡特兰数斯特林数伯努利数贝尔数调和级数后记补完了几天前写的东西 WC集训DAY2笔记组合计数 part. ...
docker alphine 安装vim 等软件
alphine 不带 yum,所以只能用apt-get 安装 apt-get update apt-get install vim apt-get install net-tools
集合系列 Map（十五）：TreeMap
TreeMap 是 Map 集合的有序实现,其底层是基于红黑树的实现,能够早 log(n) 时间内完成 get.put 和 remove 操作. public class TreeMap<K,V ...
Python 的 Geth 封装库 PyGeth
PyGeth 是一个 Python 封装库,用来作为子进程运行 geth. 系统依赖该库需要 geth 可执行文件. 安装 pip install py-geth 快速启动运行连接到 mainne ...
Python中的测试工具
当我们在写程序的时候,我们需要通过测试来验证程序是否出错或者存在问题,但是,编写大量的测试来确保程序的每个细节都没问题会显得很繁琐.在Python中,我们可以借助一些标准模块来帮助我们自动完成测试 ...
大数据学习笔记——HBase使用bulkload导入数据
HBase使用bulkload批量导入数据 HBase可使用put命令向一张已经建好了的表中插入数据,然而,当遇到数据量非常大的情况,一条一条的进行插入效率将会大大降低,因此本篇博客将会整理提高批量导 ...
Lucene&Solr框架之第三篇
1.SolrCore的配置 a)schma.xml文件 b)配置中文分析器 2.配置业务域和批量索引导入 a)配置业务域 b)批量索引导入 c)Solrj复杂查询(用Query页面复杂查询.用程序实现 ...
Mac Electron App 签名后打开闪退
背景昨天在测试 Mac Electron App 打包,发现不签名的应用能够正常打开,签了名的打开反而会崩溃. 寻因首先我怀疑是不是自己代码导致闪退,但是在一番查找后,发现还根本没到执行我的代码就 ...
【Cocos谁学谁会】定制属于自己的脚本模板
版权申明: 本文原创首发于以下网站,您可以自由转载,但必须加入完整的版权声明博客园:https://www.cnblogs.com/MogooStudio/ csdn博客:https://blog. ...

Python中Collections模块的Counter容器类使用教程

Python中Collections模块的Counter容器类使用教程的更多相关文章

随机推荐

热门专题