Java page cache回写机制案例详解
JAVA写文件的基本流程
在不使用堆外内存的情况下,java在写文件时,先将字节写入JVM的堆内内存中;然后调用jvm的写文件函数,将字节写入jvm的堆外内存中,jvm再调用系统内核的写文件函数,将字节写入内核的heap中;然后内核将字节写入page cache中,将page cache状态改为dirty,根据page cache的回写机制在合适的时机将字节写入磁盘。
page cache 自动回写机制
page cache的回写时机由系统配置/etc/sysctl.conf 中的几个参数决定,分别是:
- dirty_background_bytes
默认值:0 表示不启用
当脏页所占的内存大小超过dirty_background_bytes时,内核的pdflush线程会从后台开始回写脏页,不会影响应用程序的后序IO操作。
- dirty_background_ratio
默认值 :10
参数意义:当脏页所占的百分比(相对于所有可用内存,即空闲内存页+可回收内存页)达到dirty_background_ratio时内核的pdflush线程从后台开始回写脏页,不会影响应用程序的后序IO操作。增大会使用更多内存用于缓冲,可以提高系统的读写性能。当需要持续、恒定的写入场合时,应该降低该数值。
注意:dirty_background_bytes参数和dirty_background_ratio参数是相对的,只能指定其中一个。当其中一个参数文件被写入时,会立即开始计算脏页限制,并且会将另一个参数的值清零。
- dirty_bytes
默认值:0 表示不启用
当脏页所占的内存数量达到dirty_bytes时,内核将脏页中的数据刷入磁盘并阻塞后序的IO操作。
注意:dirty_bytes参数和dirty_ratio参数是相对的,只能指定其中一个。当其中一个参数文件被写入时,会立即开始计算脏页限制,并且会将另一个参数的值清零
- dirty_ratio
默认值:20
参数意义:当脏页所占的百分比(相对于所有可用内存,即空闲内存页+可回收内存页)达到dirty_ratio时,内核将脏页中的数据刷入磁盘并阻塞后序的IO操作。
- dirty_background_ratio与dirty_ratio比较
dirty_ratio是属于强制性的回写,也就是说当一个内存区的脏页达到这个比例时就会触发内核内存管理把脏页强制回写的流程,但dirty_background_ratio是属于软性的行为,因为这是透过pdflush内核线程进行的流程,可以在后台执行对这些脏页面回写,并不会因此影响到当下正在执行中的过程。 所以看Linux内核中预设的比例是脏页达到5%的比例时就会先透过pdflush内核线程进行回写,当脏页达到10%比例时,就等于是一个很严重的状况,此时就会在平衡脏页面流程中触发强制的回写,让系统可以回复到原本预设合理的状态。
- dirty_expire_centisecs
默认值:3000
参数意义:用来指定脏数据能存活的时间。指定的值是按100算做一秒计算。只有当超过这个值后,才会被内核进程pdflush写到磁盘。
- dirty_writeback_centisecs
默认值:500
参数意义:pdflush回写的频率,每次的唤醒的间隔,是以数字100算做1秒。如果将这项值设为500就相当5秒唤醒pdflush进程。如果将这项值设为0就表示完全禁止定期回写数据。
- drop_caches
向/proc/sys/vm/drop_caches文件中写入数值可以使内核释放page cache,dentries和inodes缓存所占的内存。
只释放pagecache:
echo 1 > /proc/sys/vm/drop_caches
只释放dentries和inodes缓存:
echo 2 > /proc/sys/vm/drop_caches
释放pagecache、dentries和inodes缓存:
echo 3 > /proc/sys/vm/drop_caches
这个操作不是破坏性操作,脏的对象(比如脏页)不会被释放,因此要首先运行sync命令。
注:这个只能是手动释放
测试
采用javaBIO不断向一个文件写入数据,通过pcstat观察page cache的大小。文件初始状态:
[root@node01 ~]# ll test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 19:58 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 0 | 0 | 0 | NaN | +----------+----------------+------------+-----------+---------+
dirty_background_bytes测试
将脏页阈值设置为10MB,脏页存活时间设置为5000s,当脏页大小不足10MB时,绝对不会被刷入磁盘,当脏页大小超过10MB,但是存活时间不超过5000s时,满足dirty_background_bytes的条件,被刷入磁盘。
#修改系统配置 [root@node01 ~]# vi /etc/sysctl.conf ... #便于测试,设为10485760 10mb vm.dirty_background_bytes = 10485760 #便于测试,设为104857600 100mb vm.dirty_bytes = 104857600 #便于测试,设为500000 5000s vm.dirty_writeback_centisecs = 500000 #便于测试,设为30000 5min vm.dirty_expire_centisecs = 30000 #加载系统配置 [root@node01 ~]# sysctl -p
当page cache大小超过10mb前,停止写入,关闭电源,重启设备。
关机前page cache状态及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug 1 20:20 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 1660 | 1 | 1 | 100.000 | +----------+----------------+------------+-----------+---------+
掐断电源,重启。(注意,这里不能按正常流程重启电源)
重启后page cache状态及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 20:20 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 0 | 0 | 0 | NaN | +----------+----------------+------------+-----------+---------+
之前写入的数据全部丢失,由于没有达到后台自动刷入磁盘的阈值(dirty_background_bytes),page cache内的数据丢失。
当page cache大小超过10mb后,停止写入,关闭电源,重启设备。
关机前page cache状态及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 37M Aug 1 20:26 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 37985420 | 9274 | 9274 | 100.000 | +----------+----------------+------------+-----------+---------+
掐断电源,重启。(注意,这里不能按正常流程重启电源)
重启后page cache状态及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 30M Aug 1 20:26 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 31035392 | 7577 | 0 | 000.000 | +----------+----------------+------------+-----------+---------+
之前写入的数据部分丢失,每次达到后台自动刷入磁盘的阈值(dirty_background_bytes)时内核都会进行一次刷入操作,而没有达到阈值的部分就会丢失。关机前37M,关机后30M,自动刷入阈值设置为10M,37-10=7M,这7M数据没有被刷入磁盘,重启后丢失。
dirty_expire_centisecs测试
将脏页阈值设置为100MB,检测频率设置为1s,脏页存活时间设置为15s。这样可以达到这样一个测试目的,当我的page cache大小未到达100MB时,由于超过了存活时间15s,检测的又很及时,几乎可以被全部刷入磁盘。为什么说几乎呢?因为不管怎么样,靠检测频率自动刷入机制终究会丢失检测真空期的数据。脏页在每次刷入磁盘后重写前都是干净的状态。
#修改系统配置 [root@node01 ~]# vi /etc/sysctl.conf ... #便于测试,设为104857600 100mb vm.dirty_background_bytes = 104857600 #便于测试,设为104857600 100mb vm.dirty_bytes = 104857600 #便于测试,设为1500 15s vm.dirty_writeback_centisecs = 1500 #便于测试,设为100 1s vm.dirty_expire_centisecs = 100 #加载系统配置 [root@node01 ~]# sysctl -p
当page cache大小超过100mb前,停止写入,未超过15s,关闭电源,重启设备。
关机前page cache状态及文件大小。
-rw-r--r--. 1 root root 150 Aug 1 20:44 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 150 | 1 | 1 | 100.000 | +----------+----------------+------------+-----------+---------+
掐断电源,重启。(注意,这里不能按正常流程重启电源)
重启后page cache状态及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 20:44 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 0 | 0 | 0 | NaN | +----------+----------------+------------+-----------+---------+
之前写入的数据全部丢失,由于没有超过脏页存活时间,page cache内的数据丢失。
当page cache存活超过15s后,关闭电源,重启设备。
关机前page cache状态及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug 1 20:48 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 1680 | 1 | 1 | 100.000 | +----------+----------------+------------+-----------+---------+
掐断电源,重启。(注意,这里不能按正常流程重启电源)
重启后page cache状态及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug 1 20:48 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 1680 | 1 | 1 | 100.000 | +----------+----------------+------------+-----------+---------+
超过15s且被检测到的数据全部保留
dirty_writeback_centisecs测试
将脏页阈值设置为100MB,检测频率设置为15s,脏页存活时间设置为1s。这样可以达到这样一个测试目的,当我的page cache大小未到达100MB时,且超过了存活时间1s,由于检测的不及时,导致超过存活时间的数据还是没有被刷入磁盘。
#修改系统配置 [root@node01 ~]# vi /etc/sysctl.conf ... #便于测试,设为104857600 100mb vm.dirty_background_bytes = 104857600 #便于测试,设为104857600 100mb vm.dirty_bytes = 104857600 #便于测试,设为100 1s vm.dirty_writeback_centisecs = 100 #便于测试,设为1500 15s vm.dirty_expire_centisecs = 1500 #加载系统配置 [root@node01 ~]# sysctl -p
当page cache大小超过100mb前,停止写入,未超过15s,关闭电源,重启设备。
关机前page cache状态及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 550 Aug 1 21:02 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 550 | 1 | 1 | 100.000 | +----------+----------------+------------+-----------+---------+
掐断电源,重启。(注意,这里不能按正常流程重启电源)
重启后page cache状态及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 21:04 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 0 | 0 | 0 | NaN | +----------+----------------+------------+-----------+---------+
之前写入的数据全部丢失,虽然超过脏页存活时间,但是没有到检测时间,page cache内的数据丢失。
到此这篇关于Java page cache回写机制案例详解的文章就介绍到这了,更多相关Java page cache回写机制内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
相关文章
- 这篇文章主要介绍了如何利用java语言实现经典《复杂迷宫》游戏,文中采用了swing技术进行了界面化处理,感兴趣的小伙伴可以动手试一试...2022-02-01
java 运行报错has been compiled by a more recent version of the Java Runtime
java 运行报错has been compiled by a more recent version of the Java Runtime (class file version 54.0)...2021-04-01- 这篇文章主要介绍了在java中获取List集合中最大的日期时间操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-08-15
- 这篇文章主要介绍了教你怎么用Java获取国家法定节假日,文中有非常详细的代码示例,对正在学习java的小伙伴们有非常好的帮助,需要的朋友可以参考下...2021-04-23
- 这篇文章主要介绍了Java如何发起http请求的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-31
- 说起C#和Java这两门语言(语法,数据类型 等),个人以为,大概有90%以上的相似,甚至可以认为几乎一样。但是在工作中,我也发现了一些细微的差别...2020-06-25
- 这篇文章主要介绍了解决Java处理HTTP请求超时的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-29
- 这篇文章主要介绍了java 判断两个时间段是否重叠的案例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-08-15
java 画pdf用itext调整表格宽度、自定义各个列宽的方法
这篇文章主要介绍了java 画pdf用itext调整表格宽度、自定义各个列宽的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-31- 这篇文章主要介绍了超简洁java实现双色球若干注随机号码生成(实例代码),本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-04-02
- 这篇文章主要介绍了Java生成随机姓名、性别和年龄的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-10-01
PHP分布式框架如何使用Memcache同步SESSION教程
本教程主要讲解PHP项目如何用实现memcache分布式,配置使用memcache存储session数据,以及memcache的SESSION数据如何同步。 至于Memcache的安装配置,我们就不讲了,以前...2016-11-25- 这篇文章主要介绍了java正则表达式判断前端参数修改表中另一个字段的值,需要的朋友可以参考下...2021-05-07
Java使用ScriptEngine动态执行代码(附Java几种动态执行代码比较)
这篇文章主要介绍了Java使用ScriptEngine动态执行代码,并且分享Java几种动态执行代码比较,需要的朋友可以参考下...2021-04-15- 这篇文章主要介绍了Java开发实现人机猜拳游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-08-03
- 这篇文章主要介绍了Java List集合返回值去掉中括号('[ ]')的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-08-29
Java 8 Stream 的终极技巧——Collectors 功能与操作方法详解
这篇文章主要介绍了Java 8 Stream Collectors 功能与操作方法,结合实例形式详细分析了Java 8 Stream Collectors 功能、操作方法及相关注意事项,需要的朋友可以参考下...2020-05-20Java中lombok的@Builder注解的解析与简单使用详解
这篇文章主要介绍了Java中lombok的@Builder注解的解析与简单使用,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-01-06- 下面小编就为大家带来一篇java中String类型变量的赋值问题介绍。小编觉得挺不错的。现在分享给大家,给大家一个参考。...2016-03-28
- 这篇文章主要介绍了Java线程池中的各个参数如何合理设置操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...2021-06-19