Java中多线程下载图片并压缩能提高效率吗
前言
需求 导出Excel:本身以为是一个简单得导出,但是每行得记录文件中有一列为图片url,需要下载所有记录行对应得图片,然后压缩整个文件夹。
这里只做4.5.得代码讲解描述,其它也没什么好说得,话不多说上代码.
实现思路
多线程实现使用了线程池,Jdk1.8并发包下的CompletableFuture
第一步:得到基础数值
// 线程数 Integer threadNum = 10; // 每条线程需要处理的图片数 int dataNum = imageInfoVos.size() / threadNum; // 写入线程数 List<Integer> threadS = new ArrayList<>(); for(int i=0; i<threadNum; i++){ threadS.add(i); }
首先我们保存了需要下载的图片的Url列表,多线程的方式下载我们需要保证每个线程下载的图片不会重复,因此我们需要根据规则来切割保存Url列表的集合,从而保证每个线程下载属于自己的任务,上代码:
// 接上文代码 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{ List<Image> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size())); threadDownPic(theadItem,item,dirName); },threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{ try { item.get(); }catch (Exception e){ log.error("============ 多线程down执行等待异常 msg:{} =============", e.getMessage()); } });
这里进行拆分讲解
使用CompletableFuture.runAsync 走异步方式,遍历item
如item=10,也就是线程数为10,则直接执行10次(有线程池的前提下
)
// 使用CompletableFuture.runAsync 走异步方式,遍历item // 如item=10,也就是线程数为10,则直接执行10次(有线程池的前提下) threadS.stream().map(item -> CompletableFuture.runAsync(() ->{
规则:
根据item数值通过sublist 从开始到结束,截取对应线程所需要下载的Url列表
例:dataNum为每个线程需要完成的下载数如上文 dataNum为100时
如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100
(item+1)==threadNum?imageInfoVos.size() 此次是为了保证最后一个线程处理最后不足的图片
根据如上规则即可得到每个线程需要下载的图片Url保证不会重复
// 根据item数值通过sublist 从开始到结束,截取对应线程所需要下载的Url列表 // 例:dataNum为每个线程需要完成的下载数如上文 dataNum为100时 // 如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100 // 根据如上规则即可得到每个线程需要下载的图片Url保证不会重复 // (item+1)==threadNum?imageInfoVos.size() 此次是为了保证最后一个线程处理最后不足的图片 List<ImageInfoVo> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size())); // theadItem:图片Url item:所属下标 dirName:写入路径url threadDownPic(theadItem,item,dirName);
由于执行的异步方式,此处是为了线程池中所有线程都结束才能往下走,执行压缩文件步骤,这里提一嘴,如果没有手动赋予线程池,CompletableFuture默认使用ForkJoinPool.commonPool,会根据电脑核心数来指定,
比如:我本机未指定就是7个线程,执行方法时,会执行完前面7个线程任务,才会继续创建3个线程继续执行后续未完成的
},threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{ try { item.get(); }catch (Exception e){ log.error("============ 多线程down执行等待异常 msg:{} =============", e.getMessage()); } });
实测
主要代码也写完了,这种方式真的能提高效率吗?下面我贴几张测试图来说明
其实这种方式并没有显著的提高效率,当然这是我本机环境测试的。
效率是由网速决定,而不是由本机Cpu和io决定,比如10M带宽,一个线程一个一个顺序下载,但速度是10M,10个线程,可能每个线程的速度是1M,结果没有什么两样。
相对于网速,多线程带来的cpu以及io节省的时间几乎可以忽略,瓶颈还是在网速.
到此这篇关于Java中多线程下载图片并压缩能提高效率吗的文章就介绍到这了,更多相关Java 多线程下载提高效率内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
相关文章
- 这篇文章主要介绍了如何利用java语言实现经典《复杂迷宫》游戏,文中采用了swing技术进行了界面化处理,感兴趣的小伙伴可以动手试一试...2022-02-01
C# WinForm多线程解决界面卡死问题的完美解决方案,使用BeginInvoke
问题描述:当我们的界面需要在程序运行中不断更新数据时,当一个textbox的数据需要变化时,为了让程序执行中不出现界面卡死的现像,最好的方法就是多线程来解决一个主线程来创建界...2020-06-24java 运行报错has been compiled by a more recent version of the Java Runtime
java 运行报错has been compiled by a more recent version of the Java Runtime (class file version 54.0)...2021-04-01- 这篇文章主要介绍了在java中获取List集合中最大的日期时间操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-08-15
- 这篇文章主要介绍了教你怎么用Java获取国家法定节假日,文中有非常详细的代码示例,对正在学习java的小伙伴们有非常好的帮助,需要的朋友可以参考下...2021-04-23
- 这篇文章主要介绍了Java如何发起http请求的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-31
- 这篇文章主要介绍了C#实现HTTP下载文件的方法,包括了HTTP通信的创建、本地文件的写入等,非常具有实用价值,需要的朋友可以参考下...2020-06-25
- 说起C#和Java这两门语言(语法,数据类型 等),个人以为,大概有90%以上的相似,甚至可以认为几乎一样。但是在工作中,我也发现了一些细微的差别...2020-06-25
- 这篇文章主要介绍了解决Java处理HTTP请求超时的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-29
- 这篇文章主要介绍了c# 多线程处理多个数据的方法,帮助大家更好的理解和学习使用c#,感兴趣的朋友可以了解下...2021-03-31
- 这篇文章主要介绍了java 判断两个时间段是否重叠的案例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-08-15
- 举一个案例:复制代码 代码如下:<?phpclass Downfile { function downserver($file_name){$file_path = "./img/".$file_name;//转码,文件名转为gb2312解决中文乱码$file_name = iconv("utf-8","gb2312",$file_name...2014-06-07
- 这篇文章主要介绍了超简洁java实现双色球若干注随机号码生成(实例代码),本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-04-02
- 这篇文章主要介绍了Java生成随机姓名、性别和年龄的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-10-01
java 画pdf用itext调整表格宽度、自定义各个列宽的方法
这篇文章主要介绍了java 画pdf用itext调整表格宽度、自定义各个列宽的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-31- 这篇文章主要介绍了C#基于委托实现多线程之间操作的方法,实例分析了C#的委托机制与多线程交互操作的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了java正则表达式判断前端参数修改表中另一个字段的值,需要的朋友可以参考下...2021-05-07
Java使用ScriptEngine动态执行代码(附Java几种动态执行代码比较)
这篇文章主要介绍了Java使用ScriptEngine动态执行代码,并且分享Java几种动态执行代码比较,需要的朋友可以参考下...2021-04-15- 这篇文章主要为大家详细介绍了Visual Studio 2015下载和安装图文教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-09-22
- 这篇文章主要介绍了Java开发实现人机猜拳游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-08-03