文本信息检索——布尔模型和TF-IDF模型

文本信息检索——布尔模型和TF-IDF模型

1. 布尔模型

​ 如要检索“布尔检索”或“概率检索”但不包括“向量检索”方面的文档，其相应的查询表达式为：Q=检索 and (布尔or 概率 not向量)，那么Q可以在其相应的（检索,布尔,概率,向量）标引词向量上取（1,1,0,0）（1,0,1,0）（1,1,1,0），那么文档Dj的向量如果与这中间一个相等，那么即可认为他们之间存在相似关系，而这种相互关系也是布尔值，即sim(Q,Dj)只能为0或1。

2.TF-IDF模型

​ 在某个一共有一千词的网页中“原子能”、“的”和“应用”分别出现了 2 次、35 次 和 5 次，那么它们的词频TF就分别是 0.002、0.035 和 0.005。 我们将这三个数相加，其和 0.042 就是相应网页和查询“原子能的应用”。
一个词预测主题能力越强，权重就越大，反之，权重就越小。我们在网页中看到“原子能”这个词，或多或少地能了解网页的主题。我们看到“应用”一次，对主题基本上还是一无所知。因此，“原子能“的权重就应该比应用大。
应删除词的权重应该是零。

2.1权重计算

• 我们假定中文网页数是D＝10亿，应删除词“的”在所有的网页中都出现，即|{