您的位置：首页 > 数据库 > Redis  >  Redis使用bloom-filter过滤器实现推荐去重

Redis使用bloom-filter过滤器实现推荐去重

 更新时间：2021年1月15日 13:18  点击：1872

前期准备

redis原生并不带布隆过滤器，需要单独下载并自行编译和加载。

1.下载redisbloom插件(redis官网下载即可)

https://github.com/RedisLabsModules/redisbloom/

wget https://github.com/RedisLabsModules/rebloom/archive/v1.1.1.tar.gz

2.解压，cd、make，make后会生成rebloom.so文件

tar -zxvf v1.1.1.tar.gz
cd redisbloom-1.1.1/
make

3.配置redis.conf文件，在配置文件中加上，目录为rebloom.so文件的目录路径

loadmodule /目录/rebloom.so

4.重新启动redis

redis-server redis.conf

快速使用

创建filter：[bf.reserve key error_rate initial_size]

bf.reserve users 0.001 100000

bf.reserve命令有三个参数，分别是：

  • key：键
  • error_rate：期望错误率，期望错误率越低，需要的空间就越大。
  • capacity：初始容量，当实际元素的数量超过这个初始化容量时，误判率上升。

如果不使用bf.reserve命令创建，而是使用Redis自动创建的布隆过滤器，默认的error_rate是 0.01，capacity是 100。

隆过滤器的error_rate越小，需要的存储空间就越大，对于不需要过于精确的场景，error_rate设置稍大一点也可以。布隆过滤器的capacity设置的过大，会浪费存储空间，设置的过小，就会影响准确率，所以在使用之前一定要尽可能地精确估计好元素数量，还需要加上一定的冗余空间以避免实际元素可能会意外高出设置值很多。总之，error_rate和 capacity都需要设置一个合适的数值。

请查看：https://www.cnblogs.com/-wenli/p/12444639.html

添加元素：[bf.add key options]

bf.add users user3

判断元素是否存在：[bf.exists key options]

bf.exists users user1

添加多个元素：[bf.add key ...options]

bf.madd users user4 user5 user6 user

判断多个元素是否存在：[bf.add key ...options]

bf.mexists users user4 user5 user6 user7 user8

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持猪先飞。

[!--infotagslink--]

相关文章

  • 详解如何清理redis集群的所有数据

    这篇文章主要介绍了详解如何清理redis集群的所有数据，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-18

  • Redis连接池配置及初始化实现

    这篇文章主要介绍了Redis连接池配置及初始化实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-29

  • 详解javascript数组去重问题

    首先，我想到的是另建一个结果数组，用来存储原始数组中不重复的数据。遍历原始数组依次跟结果数组中的元素进行比较，检测是否重复。于是乎，我写出了如下代码A： Array.prototype.clearRepetitionA = function(){ var resul...2015-11-08

  • 详解redis desktop manager安装及连接方式

    这篇文章主要介绍了redis desktop manager安装及连接方式，本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下...2021-01-15

  • 浅谈redis key值内存消耗以及性能影响

    这篇文章主要介绍了浅谈redis key值内存消耗以及性能影响，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-07

  • lua读取redis数据的null判断示例代码

    最近在工作中遇到了一个问题，通过查找相关资料才得知原因是因为返回结果的问题，下面这篇文章主要给大家介绍了关于lua读取redis数据的null判断的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下...2020-06-30

  • SpringBoot集成Redis实现消息队列的方法

    这篇文章主要介绍了SpringBoot集成Redis实现消息队列的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-10

  • redis setIfAbsent和setnx的区别与使用说明

    这篇文章主要介绍了redis setIfAbsent和setnx的区别与使用，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-08-04

  • 浅析AngularJS Filter用法

    系统的学习了一下angularjs，发现angularjs的有些思想根php的模块smarty很像，例如数据绑定，filter。如果对smarty比较熟悉的话，学习angularjs会比较容易一点,这篇文章给大家介绍angularjs filter用法详解，感兴趣的朋友一起学习吧...2015-12-29

  • Redis的Expire与Setex区别说明

    这篇文章主要介绍了Redis的Expire与Setex区别说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-15

  • JavaScript数组去重的五种方法

    javascript数组去重是一个比较常见的需求，解决方法也有很多种，网上都可以找到答案的，下面小编给大家整理了一份关于同类型的数组去重的方法，先给大家介绍下简单实现思路。思路：遍历数组，一一比较，比较到相同的就删除后面的...2015-11-08

  • 查看Redis内存信息的命令

    Redis 是一个开源、高性能的Key-Value数据库，被广泛应用在服务器各种场景中。本文介绍几个查看Redis内存信息的命令，包括常用的info memory、info keyspace、bigkeys等。...2021-01-15

  • nestjs中异常过滤器Exceptionfilter的具体使用

    这篇文章主要介绍了nestjs中异常过滤器Exceptionfilter的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-07

  • Redis的持久化方案详解

    在本篇文章里小编给大家整理的是关于Redis的持久化方案详解，有兴趣的朋友们可以参考下。...2021-01-15

  • JAVA中 redisTemplate 和 jedis的配合使用操作

    这篇文章主要介绍了JAVA中 redisTemplate 和 jedis的配合使用操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-13

  • @CacheEvict + redis实现批量删除缓存

    这篇文章主要介绍了@CacheEvict + redis实现批量删除缓存方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-10-12

  • redis 交集、并集、差集的具体使用

    这篇文章主要介绍了redis 交集、并集、差集的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-23

  • 解决redisTemplate中leftPushAll隐性bug的问题

    这篇文章主要介绍了解决redisTemplate中leftPushAll隐性bug的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-13

  • Redis集群水平扩展、集群中添加以及删除节点的操作

    这篇文章主要介绍了Redis集群水平扩展、集群中添加以及删除节点的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-25

  • Angularjs中如何使用filterFilter函数过滤

    这篇文章主要介绍了Angularjs中如何使用filterFilter函数过滤的相关资料,需要的朋友可以参考下...2016-02-12