您的位置：首页 > 服务器维护 > 服务器其它  >  Apache Hudi结合Flink的亿级数据入湖实践解析

Apache Hudi结合Flink的亿级数据入湖实践解析

 更新时间：2022年6月1日 11:20  点击：458 作者：leesf

本次分享分为5个部分介绍Apache Hudi的应用与实践

1. 实时数据落地需求演进

实时平台上线后，主要需求是开发实时报表，即抽取各类数据源做实时etl后，吐出实时指标到oracle库中供展示查询。

随着实时平台的稳定及推广开放，各种使用人员有了更广发的需求：

  • 对实时开发来说，需要将实时sql数据落地做一些etl调试，数据取样等过程检查；
  • 数据分析、业务等希望能结合数仓已有数据体系，对实时数据进行分析和洞察，比如用户行为实时埋点数据结合数仓已有一些模型进行分析，而不是仅仅看一些高度聚合化的报表；
  • 业务希望将实时数据作为业务过程的一环进行业务驱动，实现业务闭环；
  • 针对部分需求，需要将实时数据落地后，结合其他数仓数据，T - 1离线跑批出报表；

>

除了上述列举的主要的需求，还有一些零碎的需求。

总的来说，实时平台输出高度聚合后的数据给用户，已经满足不了需求，用户渴求更细致，更原始，更自主，更多可能的数据

而这需要平台能将实时数据落地至离线数仓体系中，因此，基于这些需求演进，实时平台开始了实时数据落地的探索实践

2. 基于Spark+Hudi的实时数据落地应用实践

最早开始选型的是比较流行的Spark + Hudi体系，整体落地架构如下：

这套主要基于以下考虑：

  • 数仓开发不需写Scala/Java打Jar包做任务开发
  • ETL逻辑能够嵌入落数据任务中
  • 开发入口统一

我们当时做了通用的落数据通道，通道由Spark任务Jar包和Shell脚本组成，数仓开发入口为统一调度平台，将落数据的需求转化为对应的Shell参数，启动脚本后完成数据的落地。

3. 基于Flink自定义实时数据落地实践

由于我们当时实时平台是基于Flink，同时Spark+Hudi对于大流量任务的支持有一些问题，比如落埋点数据时，延迟升高，任务经常OOM等，因此决定探索Flink落数据的路径。

当时Flink+Hudi社区还没有实现，我们参考Flink+ORC的落数据的过程，做了实时数据落地的实现，主要是做了落数据Schema的参数化定义，使数据开发同事能shell化实现数据落地。

4. 基于Flink + Hudi的落地数据实践

Hudi整合Flink版本出来后，实时平台就着手准备做兼容，把Hudi纳入了实时平台开发内容。

先看下接入后整体架构

实时平台对各类数据源及Sink端都以各类插件接入，我们参考了HudiFlinkTable的Sink流程，将Hudi接入了我们的实时开发平台。

为了提高可用性，我们主要做了以下辅助功能;

  • Hive表元数据自动同步、更新；
  • Hudi schema自动拼接；
  • 任务监控、Metrics数据接入等

实际使用过程如下

整套体系上线后，各业务线报表开发，实时在线分析等方面都有使用，比较好的赋能了业务，上线链路共26条，单日数据落入约3亿条左右

5. 后续应用规划及展望

后续主要围绕如下几个方面做探索

5.1 取代离线报表，提高报表实时性及稳定性

离线报表特点是 T - 1，凌晨跑数，以及报表整体依赖链路长。两个特点导致时效性不高是一个方面，另一个方面是，数据依赖链路长的情况下，中间数据出问题容易导致后续整体依赖延时，而很多异常需要等到报表任务实际跑的时候，才能暴露出来。并且跑批问题凌晨暴露，解决的时效与资源协调都是要降低一个等级的，这对稳定性准时性要求的报表是不可接受的，特别是金融公司来说，通过把报表迁移至实时平台，不仅仅是提升了报表的时效性，由于抽数及报表etl是一直再实时跑的，报表数据给出的稳定性能有一个较大的提升。这是我们Hudi实时落数据要应用的规划之一

5.2 完善监控体系，提升落数据任务稳定性

目前仅仅做到落数据任务的监控，即任务是否正常运行，有没有抛异常等等。但实际使用者更关心数据由上游到Hive整条链路的监控情况。比如数据是否有延迟，是否有背压，数据源消费情况，落数据是否有丢失，各个task是否有瓶颈等情况，总的来说，用户希望能更全面细致的了解到任务的运行情况，这也是后面的监控需要完善的目标

5.3 落数据中间过程可视化探索

这个是和上面的监控有类似的地方，用户希望确定，一条数据从数据源接进来，经过各个算子的处理，它的一些详细情况。比如这个数据是否应该被过滤，处于哪个窗口，各个算子的处理时间等等，否则对于用户，整个数据SQL处理流程是一个黑盒。

以上就是Apache Hudi结合Flink的亿级数据入湖实践解析的详细内容，更多关于Apache Hudi结合Flink的亿级数据的资料请关注猪先飞其它相关文章！

原文出处：https://www.cnblogs.com/leesf456/p/15780250.html

[!--infotagslink--]

相关文章

  • Apache启动报错No space left on device: AH00023该怎么解决

    Apache启动报错No space left on device: AH00023错误可能是进程导致了，虽然小编不知道什么原因但网上提供的解决办法确实是可以解决我们的问题，下面来看看。对于这类错误是因为linux系统的ipc信号量造成的，apache启动时...2015-10-21

  • apache配置黑名单和白名单及账户权限控制

    本文我们将分享apache配置黑名单和白名单，apache层的账户权限控制，以及apache黑名单白名单过滤功能，apache rewrite规则实现白名单。 apache配置黑名单和白名单的两...2016-09-14

  • apache开启gzip详解教程

    今天在用百度工具检测时发，发现有个提示如下 原来可以开启gzip啊，因为我的是apache所以和iis不同，经过网站搜索开启方法如下 一，找到你的httpd.conf文件，打开找到如下 ...2016-01-28

  • 解决PHPstudy Apache无法启动的问题【亲测有效】

    这篇文章主要介绍了PHPstudy Apache无法启动的问题及解决方法【亲测有效】，本文给大家总结了三种方法供大家参考，需要的朋友可以参考下...2020-10-30

  • apache http server遇到了一个问题，需要关闭

    重装系统后，重新安装了xamp，最近启动的时候经常报apache http server遇到了一个问题，需要关闭，显示如图： 解决方法:查看szModName报错的模块，然后把PHP安装目录下对应的模块...2016-01-28

  • Windows Server 2016 上配置 APACHE+SSL+PHP+perl的教程详解

    Windows Server 2016 上配置 APACHE+SSL+PHP+perl怎么配置？小编推荐了一篇介绍Windows Server 2016 上配置 APACHE+SSL+PHP+perl的教程，有需要的同学快来看看吧！ ...2017-07-06

  • nginx+apache+mysql+php+memcached+squid搭建集群web环境

    当前，LAMP开发模式是WEB开发的首选，如何搭建一个高效、可靠、稳定的WEB服务器一直是个热门主题，本文就是这个主题的一次尝试。...2016-01-27

  • 隐藏Nginx或Apache以及PHP的版本号的方法

    这篇文章主要介绍了隐藏Nginx或Apache以及PHP的版本号的方法,主要用来防止针对性的漏洞攻击,需要的朋友可以参考下...2016-01-05

  • apache下设置缓存方法详细介绍

    默认情况下，apache安装完以后，是不允许被cache的。如果外接了cache或squid服务器要求进行web加速的话，就需要在htttpd.conf里进行设置，当然前提是在安装apache的时候要激活mod_c...2016-01-28

  • apache中Order Allow Deny详解

    Order A, B (其中，A和B均可以代表allow或者deny,以下conlist表示控制列表) A from conlist1 B from conlist2 那么最终访问控制的结果为：（以（A）表示A的控制范围，） (A)= (conli...2016-01-28

  • Apache Reference Manual (10)

    Satisfy directive Syntax: Satisfy 'any' or 'all' Default: Satisfy all Context: directory, .htaccess Status: core Compatibility: Satisfy is only available...2016-11-25

  • 简单介绍apache的rewirte配置教程

    任何二级域名，均跳转到www下。 本地测试站点：www.111cn.net，下面是apache里的配置： 代码如下 复制代码 <VirtualHost *> <Directory "D:/webroot/myp...2016-01-28

  • Mysql+Apache2+php5 安装

    下载下列文件至/usr/local/src/ apache(Unix平台最流行的WEB服务器平台)2.tar.gz MySQL(和PHP搭配之最佳组合)-5.0.22.tar.gz php(做为现在的主流开发语言)-5.1.2...2016-11-25

  • 以动态模块的方式安装apache2.0.44+PHP4.3.0

    经过一天的努力，终于装完了apache2.0.44+PHP4.3.0呵呵， 不禁佩服自己的愚蠢 ：（ 以前安装都是用php静态模块的方式，似乎在apache2以上的版本上行不通（猜测而已:)) 安装过程简...2016-11-25

  • Apache Reference Manual (2)

    AuthName directive Syntax: AuthName auth-domain Context: directory, .htaccess Override: AuthConfig Status: core This directive sets the name of the author...2016-11-25

  • IIS&Apache 攻击记录分析篇

    每个网管最黑暗的时候莫过于服务器被攻击后的束手无策，其实服务器遭受攻击后，服务器的记录文件详细地记录了黑客活动的蛛丝马迹。...2016-01-27

  • ThinkPhP+Apache+PHPstorm整合框架流程图解

    这篇文章主要介绍了ThinkPhP+Apache+PHPstorm整合框架流程图解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-11-23

  • apache中如何实现301转向

    编辑.htaccess的方法。 注意：在设置301重定向之前务必备份相应目录下的.htaccess文件。 1.重定向111cn.net到www.111cn.net 这种重定向旨在使域名唯一，是网站seo教程必...2016-01-28

  • 在apache下限制每个虚拟主机的并发数

    下载模块： http://www.nowhere-land.org/prog ... st_limit-0.4.tar.gz 官方网址： http://www.nowhere-land.org/programs/mod_vhost_limit/ 安装： apxs -c mod_vhost_...2016-01-28

  • Joomla使用Apache重写模式的方法

    这篇文章主要介绍了Joomla使用Apache重写模式的方法,简单讲述了Joomla开启Apache重写模式的步骤与相关技巧,需要的朋友可以参考下...2016-05-06