大家好,我是蓝胖子,我一直相信编程是一门实践性的技术,其中算法也不例外,初学者可能往往对它可望而不可及,觉得很难,学了又忘,忘其实是由于没有真正搞懂算法的应用场景,所以我准备出一个系列,囊括我们在日常开发中常用的算法,并结合实际的应用场景,真正的感受算法的魅力。
今天,我们就来学习下布隆过滤器的原理以及作用。
代码已经上传到github
https://github.com/HobbyBear/codelearning/tree/master/bloomfilter
作用
通常我们在缓存层前面会添加一层布隆过滤器,它能够迅速的判断那些一定不在缓存中的数据,防止缓存击穿。
布隆过滤器返回false的数据一定不在缓存里,返回true的数据也可能不在缓存里。即使不能百分百判断数据是否一定存在于缓存中,它依然能够过滤大量的无效不在缓存中的数据,所以被广泛使用。
原理
为啥不能百分百的判断数据是否一定存在,这就需要来了解下布隆过滤器的原理。在构建布隆过滤器时,会创建一个服务器托管网bitmap,关于bitmap的讲解可以查看我之前的文章位图(bitmap)原理以及实现 ,使用布隆过滤器的步骤如下:
1,比如一个场景,我们添加缓存时,需要先将key添加到布隆过滤器中,需要将key用多个hash函数经过多次hash,比如三次,得到3个数字a,b,c 。
2, 然后将a,b,c 对应在bitmap中的bit位设置1。
3,当要从缓存中读取数据时,也是先从布隆过滤器中读取,此时需要将要读取的缓存key也经过多个hash函数多次hash,判断hash得到的数字对应在bitmap中的bit位是否都是1,如果有一个不为1,说明这个缓存key肯定没有添加过缓存,就不用再去请求缓存服务器了。
这里要注意的是,因为是hash函数,所以有可能key1和key2最后hash的结果是一样的,这样布隆过滤器只添加key1时,还是会在读取key2时返回true,这样还是会去读缓存服务器,即使key2并不在缓存服务器中。
并且由于在bitmap中存储的是hash后的结果,所以布隆过滤器也不能删除数据,一个好的使用方式是定时重建布隆过滤器,让旧布隆过滤器过期。
实现
接着,我们来看下布隆过滤器的实现,我仿照java的Guava中的布隆过滤器实现写了一个golang的版本, hash函数用的murmur3 得到两个hash值,通过迭代k次hash值的效果代替了运行k次hash函数,然后将得到的结果设置到bitmap中。
需要注意的是hash.Sum128 返回的uint64,这个类型在转换成int64类型时可能会产生负数,所以我们需要将它同math.MaxInt64得到正数,然后与bitmap的大小进行取模,这样得到的数字永远是一个正数且不会超过bitmap的长度。
func (b *BloomFilter) Add(key string) {
bitSetSize := b.m
hashFunCount := b.k
hash := murmur3.New128()
hash.Write([]byte(key))服务器托管网
hash1, hash2 := hash.Sum128()
combinedHash := hash1
for i := 0; i
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
机房租用,北京机房租用,IDC机房托管, http://www.fwqtg.net