TF(词频)-IDF(逆文档频率) 在自动提取文章关键词上经常用到,通过它可以知道某个关键字在这篇文档里的重要程度。其中 TF 表示某个 Term 在 Document 里出现的频次,越高说明越重要;DF 表示在全部 Document 里,共有多少个 Document 出现了这个词,DF 越大,说明这个词很常见,并不重要,越小反而说明他越重要,IDF 是 DF 的倒数(取log), IDF 越大,表示这个词越重要。
TF-IDF 怎么影响搜索排序,举一个实际例子来解释:
假定现在有一篇博客《Blink 实战总结》,我们要统计这篇文章的关键字,首先是对文章分词统计词频,出现次数最多的词是--"的"、"是"、"在",这些是“停用词”,基本上在所有的文章里都会出现,他对找到结果毫无帮助,全部过滤掉。
只考虑剩下的有实际意义的词,如果文章中词频数关系: “Blink” > “词频” = “总结”,那么肯定是 Blink 是这篇文章更重要的关键字。但又会遇到了另一个问题,如果发现 "Blink"、"实战"、"总结"这三个词的出现次数一样多。这是不是意味着,作为关键词,它们的重要性是一样的?
不是的,通过统计全部博客,你发现 含关键字总博客数: “Blink” < “实战” < “总结”,这时候说明 “Blink” 不怎么常见,一旦出现,一定相比 “实战” 和 “总结”,对这篇文章的重要性更大。
上面解释了 TF 和 IDF,那么 TF 和 IDF 谁更重要呢,怎么计算最终的相关性得分呢?那就是 BM25。
BM25算法,通常用来作搜索相关性平分。一句话概况其主要思想:对Query进行语素解析,生成语素qi;然后,对于每个搜索结果D,计算每个语素qi与D的相关性得分,最后,将qi相对于D的相关性得分进行加权求和,从而得到Query与D的相关性得分。
BM25算法的一般性公式如下:
其中,Q表示Query,qi表示Q解析之后的一个语素(对中文而言,我们可以把对Query的分词作为语素分析,每个词看成语素qi。);d表示一个搜索结果文档;Wi表示语素qi的权重;R(qi,d)表示语素qi与文档d的相关性得分。
其中 Wi 通常使用 IDF 来表达,R 使用 TF 来表达;综上,BM25算法的相关性得分公式可总结为:
BM25 通过使用不同的语素分析 *** 、语素权重判定 *** ,以及语素与文档的相关性判定 *** ,我们可以衍生出不同的搜索相关性得分计算 *** ,这就为我们设计算法提供了较大的灵活性。
更多关注微信公众号:jiuwenwang
据Security affairs网站消息,4月21日,安全研究人员Khaled Nassar在Github上公开了Java 中新披露的数字签名绕过漏洞的PoC代码,该漏洞被追踪为CVE-2022-21449(CVSS 分数:7.5)。 漏洞的影响范围主要涉及 Java SE 和 Oracle Gr...
Windows 10/11 系统中的 Windows 安全中心现在变得更令人安心了。正如微软操作系统安全和企业副总裁 David Weston 所宣布的那样,内置的免费 Windows 杀毒软件现在提供了一个新的选项,可以防止脆弱的驱动程序。只不过目前还没有在 Windows 11 系统中看到这个选...
Surfshark的一项研究显示,自3月开始入侵乌克兰以来,俄罗斯账户被攻破的次数比2月多136%。反过来,乌克兰在黑客攻击中充当受害者的场景比战争前的那个季度少67%。这些数字很可能是由于黑客组织Anonymous在冲突开始时宣布它将特意针对俄罗斯的事实。 sandr Valentij说。”泄...
一名安全研究人员发现了Cue Health公司家用COVID-19检测试剂盒的一个漏洞,可能会让用户伪造结果。Cue Health的COVID-19检测试剂盒是一种蓝牙操作的分子测试,可以在20分钟内检测出阳性标本。该系统使用鼻拭子测试冠状病毒,鼻拭子被插入一个一次性盒中,由电池供电的Cue阅读器进...
本周三,包括美国能源部(DOE)、网络安全和基础设施安全局(CISA)和联邦调查局(FBI)在内的多个机构,向关键基础设施运营商发出了严重的潜在攻击警报。近年来,某些持续威胁(APT)参与者创建了许多定制工具,并在针对工业控制系统(ICS)、监控和数据采集设备(SCADA)等关键基础设施的攻击事件中...
虽然这家俄罗斯安全公司近几个月来已经失宠,但卡巴斯基宣布它已经成功破解了Yanluowang勒索软件(没错,它真的叫阎罗王,字面上Yanluowang。)这一充满了东方文化气息的恶意软件是去年由赛门铁克公司首次发现的,现在,卡巴斯基已经发现了它使用的加密算法中的一个漏洞。这使得该公司能够开发一个免费...