Redis 缓存穿透

在我们日常的开发中，无不都是使用数据库来进行数据的存储，由于一般的系统任务中通常不会存在高并发的情况，所以这样看起来并没有什么问题，可是一旦涉及大数据量的需求，比如一些商品抢购的情景，或者是主页访问量瞬间较大的时候，单一使用数据库来保存数据的系统会因为面向磁盘，磁盘读/写速度比较慢的问题而存在严重的性能弊端，一瞬间成千上万的请求到来，需要系统在极短的时间内完成成千上万次的读/写操作，这个时候往往不是数据库能够承受的，极其容易造成数据库系统瘫痪，最终导致服务宕机的严重生产问题。

为了克服上述的问题，项目通常会引入 NoSQL 技术，这是一种基于内存的数据库，并且提供一定的持久化功能，但是引入 redis 又有可能出现缓存穿透，缓存击穿，缓存雪崩等问题。

1. 缓存穿透

缓存穿透是指查询一个根本不存在的数据，缓存层和持久层都不会命中，请求都会压到数据库，从而压垮数据库。比如用户一个不存在的用户 id 获取用户信息

在日常工作中出于容错的考虑，如果从持久层查不到数据则不写入缓存层，缓存穿透将导致不存在的数据每次请求都要到持久层去查询，失去了缓存保护后端持久的意义。

2. 缓存穿透的解决方案

对空值缓存： 如果一个查询返回的数据为空（不管数据是否存在），我们仍然把这个空结果（null）进行缓存，设置空结果的过期时间会很短，最长不超过五分钟。
设置可访问的白名单： 使用 bitmaps；类型定义一个可以访问的名单，名单 id 作为 bitmaps 的偏移量，每次访问和 bitmaps 里面的 id 进行比较，如果访问 id 不在 bitmaps 里面，进行拦截，不允许访问
采用布隆过滤器： 布隆过滤器（Bloom Filter）是由 Howard Bloom 在 1970 年提出的一种比较巧妙的概率型数据结构，它可以告诉你某种东西一定不存在或者可能存在。当布隆过滤器说，某种东西存在时，这种东西可能不存在；当布隆过滤器说，某种东西不存在时，那么这种东西一定不存在。布隆过滤器相对于 Set、Map 等数据结构来说，它可以更高效地插入和查询，并且占用空间更少，它也有缺点，就是判断某种东西是否存在时，可能会被误判。但是只要参数设置的合理，它的精确度也可以控制的相对精确，只会有小小的误判概率。

3.SpringBoot 实现

空值缓存方案

@Service
public class UserService {
    @Autowired
    private StringRedisTemplate redisTemplate;

    public User getUserById(Long id) {
        // 1. 先从缓存中查询
        String userJson = redisTemplate.opsForValue().get("user:" + id);
        if (userJson != null) {
            // 如果是空值，直接返回null
            if ("".equals(userJson)) {
                return null;
            }
            return JSON.parseObject(userJson, User.class);
        }

        // 2. 缓存未命中，查询数据库
        User user = userMapper.selectById(id);

        // 3. 将结果写入缓存
        if (user == null) {
            // 如果数据库查询结果为空，缓存空值，设置较短的过期时间
            redisTemplate.opsForValue().set("user:" + id, "", 5, TimeUnit.MINUTES);
        } else {
            // 如果数据库查询结果不为空，缓存用户信息
            redisTemplate.opsForValue().set("user:" + id, JSON.toJSONString(user), 30, TimeUnit.MINUTES);
        }

        return user;
    }
}

布隆过滤器方案

首先添加布隆过滤器依赖：

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>31.1-jre</version>
</dependency>

实现布隆过滤器：

@Component
public class BloomFilterService {
    private BloomFilter<Long> bloomFilter;

    @PostConstruct
    public void init() {
        // 创建布隆过滤器，预计元素数量为1000000，误判率为0.01
        bloomFilter = BloomFilter.create(Funnels.longFunnel(), 1000000, 0.01);
        // 初始化布隆过滤器数据
        List<Long> userIds = userMapper.getAllUserIds();
        for (Long id : userIds) {
            bloomFilter.put(id);
        }
    }

    public boolean mightContain(Long id) {
        return bloomFilter.mightContain(id);
    }
}

@Service
public class UserService {
    @Autowired
    private BloomFilterService bloomFilterService;

    public User getUserById(Long id) {
        // 1. 先通过布隆过滤器判断
        if (!bloomFilterService.mightContain(id)) {
            return null;
        }

        // 2. 布隆过滤器判断可能存在，继续查询缓存和数据库
        // ... 后续查询逻辑
    }
}

白名单方案

@Service
public class UserService {
    @Autowired
    private StringRedisTemplate redisTemplate;

    // 初始化白名单
    public void initWhiteList() {
        // 获取所有有效的用户ID
        List<Long> validUserIds = userMapper.getAllValidUserIds();

        // 使用Redis的Bitmap存储白名单
        for (Long userId : validUserIds) {
            redisTemplate.opsForValue().setBit("user:whitelist", userId, true);
        }
    }

    public User getUserById(Long id) {
        // 1. 检查是否在白名单中
        Boolean isInWhiteList = redisTemplate.opsForValue().getBit("user:whitelist", id);
        if (Boolean.FALSE.equals(isInWhiteList)) {
            return null;
        }

        // 2. 在白名单中，继续查询缓存和数据库
        // ... 后续查询逻辑
    }
}

4.注意事项

空值缓存方案要注意设置合理的过期时间，避免占用过多内存
布隆过滤器方案要注意定期重建过滤器，以保持数据的准确性
白名单方案适合数据量较小且相对稳定的场景
实际项目中可以根据业务需求组合使用多种方案