关于使用OpenCsv导入大数据量报错的问题
导入100W的Csv数据,使用OpenCsv解析工具解析Csv,发现报错
报错内容
com.opencsv.exceptions.CsvMalformedLineException: Unterminated quoted field at end of CSV line. Beginning of lost text: [XXXXX...]
at com.opencsv.CSVReader.readNext(CSVReader.java:355) ~[opencsv-4.6.jar!/:na]
解析代码
CSVParser csvParser = new CSVParserBuilder().build(); try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(csvParser).build()) { String[] lines; while ((lines = readerCsv.readNext()) != null) { doRead(lines); } } catch (CsvValidationException e) { throw new IOException(e); }
报错位置发生在英文逗号处,一开始怀疑是英文逗号解析问题
Csv 文本报错位置
"2018-04-28 00:40:43","xxx,XXXXX"
去掉当前位置英文逗号导入仍旧失败
后来查看源码发现默认的 CSVParser 会对反斜杠""进行处理
这导致了解析Csv逻辑与源文件不同
后来使用了 RFC4180Parser 问题解决
RFC4180Parser rfc4180Parser = new RFC4180ParserBuilder().build(); try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(rfc4180Parser).build()) { String[] lines; while ((lines = readerCsv.readNext()) != null) { doRead(lines); } } catch (CsvValidationException e) { throw new IOException(e); }
参考文档:(RFC4180标准文档)https://datatracker.ietf.org/doc/html/rfc4180
到此这篇关于使用OpenCsv导入大数据量报错的问题 的文章就介绍到这了,更多相关OpenCsv导入大数据量报错内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
相关文章
关于React Native报Cannot initialize a parameter of type'NSArray<id<RCTBridgeModule>>错误(解决方案)
这篇文章主要介绍了关于React Native报Cannot initialize a parameter of type'NSArray<id<RCTBridgeModule>>错误,本文给大家分享解决方案,需要的朋友可以参考下...2021-05-12使用mybatis-plus报错Invalid bound statement (not found)错误
这篇文章主要介绍了使用mybatis-plus报错Invalid bound statement (not found)错误,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-09-02mysql报错:MySQL server version for the right syntax to use near type=InnoDB的解决方法
这篇文章主要介绍了mysql报错:MySQL server version for the right syntax to use near type=InnoDB的解决方法,涉及MySQL语句的使用技巧,需要的朋友可以参考下...2016-01-15- 本文给大家分享Jenkins集成SonarQube遇到的报错问题及解决方法,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧...2021-07-15
- 这篇文章主要介绍了解决微信授权成功后点击按返回键出现空白页和报错的问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-06-08
- 这篇文章主要介绍了Redis开启远程访问及密码的教程,文中给大家提到了Redis启动报错解决方法,需要的朋友可以参考下...2021-01-15
- 这篇文章主要介绍了Mybatis批量修改时出现报错问题解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-11-10
PHP “Notice: Undefined variable” 和 “Notice: Undefined index”报错
下面我们来看一篇关于PHP “Notice: Undefined variable” 和 “Notice: Undefined index”报错,希望这篇文章能够帮助到各位朋友,有兴趣的朋友可以进来看看吧。...2016-11-25永久解决 Intellij idea 报错:Error :java 不支持发行版本5的问题
这篇文章主要介绍了永久解决 Intellij idea 报错:Error :java 不支持发行版本5的问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-02-20- 这篇文章主要给大家介绍了关于linux系统下pip升级报错的解决方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-01-31
安装Docker Desktop报错WSL 2 installation is incomplete的问题(解决报错)
这篇文章主要介绍了安装Docker Desktop报错WSL 2 installation is incomplete的问题,解决方法很简单只需我们自己手动更新一下,我们根据提示去微软官网下载最新版的wsl2安装后即可正常打开,需要的朋友可以参考下...2021-06-13Navicat连接SQL Server数据:报错08001-命名管道提供程序的完美解决方法
小编新安装了sqlserver用navicat进行连接时出现一系列问题,不知道该怎么解决,小编小编给大家分享一篇教程关于Navicat连接SQL Server数据:报错08001-命名管道提供程序的问题,感兴趣的朋友一起看看吧...2021-08-09Oracle利用errorstack追踪tomcat报错ORA-00903 无效表名的问题
这篇文章主要介绍了Oracle利用errorstack追踪tomcat报错ORA-00903 无效表名,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2020-07-11Nginx中报错:Permission denied与Connection refused的解决
这篇文章主要给大家介绍了在Nginx中报错:13: Permission denied与111: Connection refused的解决方法,文中介绍的非常详细,相信对大家具有一定的参考价值,需要的朋友们下面来一起看看吧。...2017-07-06shell字符串截取报错:Bad substitution的解决
这篇文章主要介绍了shell字符串截取报错:Bad substitution的解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-10-16- 下面小编就为大家带来一篇浅谈mysql密码遗忘和登陆报错的问题。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2017-04-03
关于idea+centos7+zookeeper报错connectionloss,timeout问题
这篇文章主要介绍了idea+centos7+zookeeper报错connectionloss,timeout问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-01-19python 服务器运行代码报错ModuleNotFoundError的解决办法
这篇文章主要介绍了python 服务器运行代码报错ModuleNotFoundError的解决办法,帮助大家排除错误,正确的运行代码,感兴趣的朋友可以了解下...2020-09-16深度解析MySQL启动时报“The server quit without updating PID file”错误的原因
这篇文章主要介绍了MySQL启动时报“The server quit without updating PID file”错误的原因,需要的朋友可以参考下...2017-05-19mysql启动报错MySQL server PID file could not be found
这篇文章主要介绍了mysql启动报错MySQL server PID file could not be found,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2016-12-02