布隆过滤器

网上有关“布隆过滤器”话题很是火热,小编也是针对布隆过滤器寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。

布隆过滤器 (英语:Bloom Filter)是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。主要用于判断一个元素是否在一个集合中。

通常我们会遇到很多要判断一个元素是否在某个集合中的业务场景,一般想到的是将集合中所有元素保存起来,然后通过比较确定。链表、树、散列表(又叫哈希表,Hash table)等等数据结构都是这种思路。但是随着集合中元素的增加,我们需要的存储空间也会呈现线性增长,最终达到瓶颈。同时检索速度也越来越慢,上述三种结构的检索时间复杂度分别为,,。

这个时候,布隆过滤器(Bloom Filter)就应运而生。

了解布隆过滤器原理之前,先回顾下 Hash 函数原理。

哈希函数的概念是:将任意大小的输入数据转换成特定大小的输出数据的函数,转换后的数据称为哈希值或哈希编码,也叫散列值。下面是一幅示意图:

所有散列函数都有如下基本特性:

但是用 hash表存储大数据量时,空间效率还是很低,当只有一个 hash 函数时,还很容易发生哈希碰撞。

BloomFilter 是由一个固定大小的二进制向量或者位图(bitmap)和一系列映射函数组成的。

在初始状态时,对于长度为 m 的位数组,它的所有位都被置为0,如下图所示:

[上传失败...(image-303c04-1595324887187)]

当有变量被加入集合时,通过 K 个映射函数将这个变量映射成位图中的 K 个点,把它们置为 1(假定有两个变量都通过 3 个映射函数)。

查询某个变量的时候我们只要看看这些点是不是都是 1 就可以大概率知道集合中有没有它了

为什么说是可能存在,而不是一定存在呢?那是因为映射函数本身就是散列函数,散列函数是会有碰撞的。

布隆过滤器的误判是指多个输入经过哈希之后在相同的bit位置1了,这样就无法判断究竟是哪个输入产生的,因此误判的根源在于相同的 bit 位被多次映射且置 1。

这种情况也造成了布隆过滤器的删除问题,因为布隆过滤器的每一个 bit 并不是独占的,很有可能多个元素共享了某一位。如果我们直接删除这一位的话,会影响其他的元素。(比如上图中的第 3 位)

相比于其它的数据结构,布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器存储空间和插入/查询时间都是常数 ,另外,散列函数相互之间没有关系,方便由硬件并行实现。布隆过滤器不需要存储元素本身,在某些对保密要求非常严格的场合有优势。

布隆过滤器可以表示全集,其它任何数据结构都不能;

但是布隆过滤器的缺点和优点一样明显。误算率是其中之一。随着存入的元素数量增加,误算率随之增加。但是如果元素数量太少,则使用散列表足矣。

另外,一般情况下不能从布隆过滤器中删除元素。我们很容易想到把位数组变成整数数组,每插入一个元素相应的计数器加 1, 这样删除元素时将计数器减掉就可以了。然而要保证安全地删除元素并非如此简单。首先我们必须保证删除的元素的确在布隆过滤器里面。这一点单凭这个过滤器是无法保证的。另外计数器回绕也会造成问题。

在降低误算率方面,有不少工作,使得出现了很多布隆过滤器的变种。

在程序的世界中,布隆过滤器是程序员的一把利器,利用它可以快速地解决项目中一些比较棘手的问题。

如网页 URL 去重、垃圾邮件识别、大集合中重复元素的判断和缓存穿透等问题。

布隆过滤器的典型应用有:

知道了布隆过滤器的原理和使用场景,我们可以自己实现一个简单的布隆过滤器

分布式环境中,布隆过滤器肯定还需要考虑是可以共享的资源,这时候我们会想到 Redis,是的,Redis 也实现了布隆过滤器。

当然我们也可以把布隆过滤器通过 bloomFilter.writeTo() 写入一个文件,放入OSS、S3这类对象存储中。

Redis 提供的 bitMap 可以实现布隆过滤器,但是需要自己设计映射函数和一些细节,这和我们自定义没啥区别。

Redis 官方提供的布隆过滤器到了 Redis 4.0 提供了插件功能之后才正式登场。布隆过滤器作为一个插件加载到 Redis Server 中,给 Redis 提供了强大的布隆去重功能。

在已安装 Redis 的前提下,安装 RedisBloom,有两种方式

直接编译进行安装

使用Docker进行安装

使用

布隆过滤器基本指令:

我们只有这几个参数,肯定不会有误判,当元素逐渐增多时,就会有一定的误判了,这里就不做这个实验了。

上面使用的布隆过滤器只是默认参数的布隆过滤器,它在我们第一次 add 的时候自动创建。

Redis 还提供了自定义参数的布隆过滤器,bf.reserve 过滤器名 error_rate initial_size

但是这个操作需要在 add 之前显式创建。如果对应的 key 已经存在,bf.reserve 会报错

我是一名 Javaer,肯定还要用 Java 来实现的,Java 的 Redis 客户端比较多,有些还没有提供指令扩展机制,笔者已知的 Redisson 和 lettuce 是可以使用布隆过滤器的,我们这里用 Redisson

为了解决布隆过滤器不能删除元素的问题,布谷鸟过滤器横空出世。论文《Cuckoo Filter:Better Than Bloom》作者将布谷鸟过滤器和布隆过滤器进行了深入的对比。相比布谷鸟过滤器而言布隆过滤器有以下不足:查询性能弱、空间利用效率低、不支持反向操作(删除)以及不支持计数。

关于“布隆过滤器”这个话题的介绍,今天小编就给大家分享完了,如果对你有所帮助请保持对本站的关注!

本文来自作者[南城旧梦]投稿,不代表盛龙号立场,如若转载,请注明出处:https://wap.snlon.net/sn/1983.html

(143)

文章推荐

  • 残疾人申请办烟草证流程

    网上有关“残疾人申请办烟草证流程”话题很是火热,小编也是针对残疾人申请办烟草证流程寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。残疾人办理烟草证流程对于残疾人来说,办理烟草证是一项比较特殊的需求。虽然烟草证不是必需品,但有时在特定场景下却十分必要。下面是残疾

    2025年09月14日
    172300
  • 本地居民户口和本地农业户口有什么区别

    网上有关“本地居民户口和本地农业户口有什么区别”话题很是火热,小编也是针对本地居民户口和本地农业户口有什么区别寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。1.居民户口即城镇户口。也叫非农业户口从事非农业生产没有田地分配.而农村户口即是农业户口,包括渔民牧民

    2025年09月21日
    155321
  • 全面战争战锤3震旦长垣守城攻略

    网上有关“全面战争战锤3震旦长垣守城攻略”话题很是火热,小编也是针对全面战争战锤3震旦长垣守城攻略寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。全面战争战锤3长垣是震旦帝国的一个特殊机制,震旦长垣守城怎么打?下面给大家分享全面战争战锤3震旦长垣守城攻略长垣是

    2025年09月30日
    305306
  • 实测教程”微信麻将怎么开挂教程”开挂(透视)辅助教程

    亲,微信麻将怎么开挂教程这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别好,总是好牌,而且好像能看到其他人的牌一样。所以很多小伙伴就怀疑这款游戏是不是有挂,实际上这款游戏确实是有挂的通过添加客服微:本司针对手游进行匹配,选择我们的四大理由:1、软件是

    2025年10月06日
    127312
  • 买房认筹金是什么意思

    网上有关“买房认筹金是什么意思”话题很是火热,小编也是针对买房认筹金是什么意思寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。买房认筹金就是开发商在楼盘正式销售前,通过优先选房、享受开盘价格优惠甚至抽奖送车位等方式,吸引有购房意向的购房者预先向售楼方缴纳款项。

    2025年11月11日
    102311
  • 辅助开挂工具“微乐跑得快免费开挂神器下载”附开挂脚本详细步骤

    亲,微乐跑得快免费开挂神器下载这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别好,总是好牌,而且好像能看到其他人的牌一样。所以很多小伙伴就怀疑这款游戏是不是有挂,实际上这款游戏确实是有挂的通过添加客服微:本司针对手游进行匹配,选择我们的四大理由:1、

    2025年11月15日
    92303
  • 苏州吴中汽车站到工业园区苏虹东路288号怎么走

    网上有关“苏州吴中汽车站到工业园区苏虹东路288号怎么走”话题很是火热,小编也是针对苏州吴中汽车站到工业园区苏虹东路288号怎么走寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。公交线路:地铁4号线→地铁1号线→181路,全程约22.0公里1、从吴中汽

    2025年11月15日
    114315
  • swisse泡腾片注意事项 swisse泡腾片这样喝是错的

    网上有关“swisse泡腾片注意事项swisse泡腾片这样喝是错的”话题很是火热,小编也是针对swisse泡腾片注意事项swisse泡腾片这样喝是错的寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。swisse泡腾片不是随便怎么泡都可以的,很多人在泡法上面

    2025年11月19日
    125305
  • 开挂辅助工具“手机金花软挂神器”附开挂脚本详细步骤

    亲,手机金花软挂神器这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别好,总是好牌,而且好像能看到其他人的牌一样。所以很多小伙伴就怀疑这款游戏是不是有挂,实际上这款游戏确实是有挂的通过添加客服微:本司针对手游进行匹配,选择我们的四大理由:1、软件是一款

    2025年11月26日
    95304
  • 梦见从楼梯滚下去好多血的预兆

    网上有关“梦见从楼梯滚下去好多血的预兆”话题很是火热,小编也是针对梦见从楼梯滚下去好多血的预兆寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。1、梦见从楼梯滚下去好多血的预兆得长辈或上司之惠助,再加上自身之勤勉,而于中年或壮年可获得相当之发展,但因基础运劣之故

    2026年01月09日
    67305
  • 邓石如的代表作品有哪些 他的艺术及书法是什么样的

    网上有关“邓石如的代表作品有哪些他的艺术及书法是什么样的”话题很是火热,小编也是针对邓石如的代表作品有哪些他的艺术及书法是什么样的寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。邓石如(1743年—1805年),初名琰,字石如,避嘉庆帝讳,遂以字行,后更

    2026年01月13日
    66300
  • 如何从长沙五天到达恩施如何从长沙到达恩施

    网上有关“如何从长沙五天到达恩施如何从长沙到达恩施”话题很是火热,小编也是针对如何从长沙五天到达恩施如何从长沙到达恩施寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。1.从长沙去恩施怎么走长沙有去恩施的长途汽车,价格210元左右,时间在下午,大概14个小时。除

    2026年01月22日
    36301

发表回复

本站作者才能评论

评论列表(3条)

  • 南城旧梦的头像
    南城旧梦 2025年09月20日

    我是盛龙号的签约作者“南城旧梦”

  • 南城旧梦
    南城旧梦 2025年09月20日

    本文概览:网上有关“布隆过滤器”话题很是火热,小编也是针对布隆过滤器寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。 布隆过滤器 (英语:Blo...

  • 南城旧梦
    用户092010 2025年09月20日

    文章不错《布隆过滤器》内容很有帮助