redis 限制内存使用大小的实现
记录一次生产环境问题排查过程：
生产环境部署方式：nginx + uwsgi + flask
问题描述：
发现生产环境中之前正常运行的服务突然不可用了，查看程序日志发现部分接口访问时报I/O写错误，nginx acess.log显示504，error.log显示 upstream time out.
同时netstat -apn | grep 6379 | wc -l检查发现redis存在大量连接，进一步检查发现其中大多为SYN_SENT包，连接大多归属于uwsgi进程。
因为程序中有很多接口被调用是会访问redis, 以为是redis连接池导致，对程序中的redis连接池进行优化后重启服务，刚启动时一切正常，http 200, 但几分钟后服务再次挂掉，http 504.
检查系统资源使用情况，发现 kswapd0 进程CPU占用很高，这个进程是当物理内存不足时，会将一部分硬盘当做虚拟内存来使用, 使用swap分区与内存换页操作交换数据，导致CPU占用过高, 再细看发现redis-server内存占用已超过100%：
进入redis中查看info memory和各存储数据的key下数据量，果然存在大量未处理完毕的数据。
到此问题终于是找到了。
设置redis最大占用内存
# 编辑redis配置文件，加入最大内存使用限制，我根据服务器的情况设置为3G maxmemory 3221225472
设置redis数据过期策略：
redis中有6种过期策略：
# 根据LRU算法生成的过期时间来删除 # volatile-lru -> remove the key with an expire set using an LRU algorithm # 根据LRU算法删除任何key。 # allkeys-lru -> remove any key accordingly to the LRU algorithm # 根据过期设置来随机删除key。 # volatile-random -> remove a random key with an expire set # 无差别随机删。 # allkeys-random -> remove a random key, any key # 根据最近过期时间来删除（辅以TTL） # volatile-ttl -> remove the key with the nearest expire time (minor TTL) # 谁也不删，直接在写操作时返回错误。 # noeviction -> don't expire at all, just return an error on write operations
在redis配置文件中设置过期策略为：maxmemory-policy allkeys-lru
一开始是设置为volatile-lru的，但是该策略只是清除设置过期时间的key值，因为很多key并没有设置过期时间。因此修改为maxmemory-policy allkeys-lru，指明非活跃近期很少用的key值清除.
在使用maxmemory-policy allkeys-lru策略时，内存超限后将不再存储数据，但数据的读取删除操作不会受影响，超限时显示错误
OOM command not allowed when used memory > 'maxmemory'
重启程序，至此服务终于正常运行。
总结：本次的问题归根结底是redis中存储入了大量脏数据，但数据处理并没有及时的清理掉这部分数据，最终导致服务停滞，allkeys-lru策略有可能会将长期未用但实际有用的数据清理掉，所以还是应优化数据处理为主。
到此这篇关于redis 限制内存使用大小的实现的文章就介绍到这了,更多相关redis 限制内存内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞！
相关文章
- 这篇文章主要介绍了Redis连接池配置及初始化实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-29
- 这篇文章主要介绍了详解如何清理redis集群的所有数据，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-18
详解redis desktop manager安装及连接方式
这篇文章主要介绍了redis desktop manager安装及连接方式，本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下...2021-01-15- 这篇文章主要介绍了浅谈redis key值内存消耗以及性能影响，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-07
- 最近在工作中遇到了一个问题，通过查找相关资料才得知原因是因为返回结果的问题，下面这篇文章主要给大家介绍了关于lua读取redis数据的null判断的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下...2020-06-30
- 这篇文章主要介绍了SpringBoot集成Redis实现消息队列的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-10
redis setIfAbsent和setnx的区别与使用说明
这篇文章主要介绍了redis setIfAbsent和setnx的区别与使用，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-08-04- 这篇文章主要介绍了Redis的Expire与Setex区别说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-15
- Redis 是一个开源、高性能的Key-Value数据库，被广泛应用在服务器各种场景中。本文介绍几个查看Redis内存信息的命令，包括常用的info memory、info keyspace、bigkeys等。...2021-01-15
- 在本篇文章里小编给大家整理的是关于Redis的持久化方案详解，有兴趣的朋友们可以参考下。...2021-01-15
JAVA中 redisTemplate 和 jedis的配合使用操作
这篇文章主要介绍了JAVA中 redisTemplate 和 jedis的配合使用操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-13- 这篇文章主要介绍了@CacheEvict + redis实现批量删除缓存方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-10-12
- 这篇文章主要介绍了redis 交集、并集、差集的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-23
解决redisTemplate中leftPushAll隐性bug的问题
这篇文章主要介绍了解决redisTemplate中leftPushAll隐性bug的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-13- 这篇文章主要介绍了Redis开启远程访问及密码的教程，文中给大家提到了Redis启动报错解决方法,需要的朋友可以参考下...2021-01-15
springboot +redis 实现点赞、浏览、收藏、评论等数量的增减操作
这篇文章主要介绍了springboot +redis 实现点赞、浏览、收藏、评论等数量的增减操作，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-01-15- 这篇文章主要介绍了Redis集群水平扩展、集群中添加以及删除节点的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-25
- 这篇文章主要给大家介绍了关于如何利用Redis如何实现自动补全功能的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Redis具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧...2020-04-17
- 这篇文章主要介绍了Redis swap空间的使用示例，帮助大家更好的理解和学习使用Redis数据库，感兴趣的朋友可以了解下...2021-03-25
- pipeline 只是把多个redis指令一起发出去，redis并没有保证这些指定的执行是原子的；multi相当于一个redis的transaction的，保证整个操作的原子性，避免由于中途出错而导致最后产生的数据不一致。本文详细的介绍，感兴趣的可以了解一下...2021-06-02