当前位置: 首页 > news >正文

使用 NIFI监控数据库表

1.概述

本文使用 NIFI 实现如何监控某一个数据库表的变化,并将数据库变化写入到文件中。
这中间使用到了

  • CaptureChangeMySQL
    关注数据库变化,及数据库表所有的变化都会被捕获,这个是实时处理的
  • EvaluateJsonPath
    从数据中抽取部分数据,放到 flowfile 的属性中
  • UpdateAttribute
    更新 flowfile 的 filename 属性
  • PutFile
    负责将flowfile 以指定filename 属性写入到文件系统中

2. 配置过程

2.1 配置 CaptureChangeMySQL

image
这里配置我需要监控的 数据库,数据库表,并填写 数据库节点用户名密码

2.2 配置EvaluateJsonPath

这个步骤的作用是将 一条记录的属性抽取到 flowfile 的属性中

image

这里增加两个属性,这里使用的是 json path 获取 table_name 和 timestamp 时间戳。

至于我怎么知道需要这样获取。我们可以使用 nifi 的 特性,即

image

我们可以启动第一个CDC ,停掉 之后的任务,这样数据存在于
image

队列中。

比如我们在数据库表中增加一条记录,在 右键在画布中 选择 refresh 刷新。

image

我们看到队列中有一条数据。

image

可以看到队列中的数据内容。

image

点击查看内容

image

数据是一个JSON,我们可以根据 JSON path 获取 数据中的内容。

2.3 配置 UpdateAttribute

image

这里我们修改 filename 属性,为表名_时间戳.json

2.4 配置

image

这里只需要配置一下写入的目录。

配置完成后,我们点击启动,我们模拟对数据进行增改删,就会看到 putfile 配置的目录下增加了JSON文件。

image

这里只是 演示了一下 NIFI的基础功能及配置过程。

http://www.fuzeviewer.com/news/20080/

相关文章:

  • 石家庄做网站裕华区素材设计做的好的网站有哪些
  • 完整教程:基于 PyQt5 实现刀具类型选择界面的设计与交互逻辑
  • 织梦 调用网站地址怎样开一个自己的公司
  • 微商城网站建设讯息做设计的分析图网站有哪些
  • 网站建设视频格式进出口贸易公司
  • 微软做网站商城网站建设实例需求
  • 网站转app免费千博企业网站管理系统
  • 唐山建设网站wordpress 内容发布
  • 咸鱼网站交易付款怎么做小红书推广怎么做
  • 摄影作品网站推荐网站开发先学什么
  • 自助建站自己要做网站的来看下网络上市场推广
  • 重庆做网站推广的公司我的家乡网页制作代码
  • 苏州自助建站平台wordpress搭建软件下载
  • 西丽网站设计h5网站建设方案.doc
  • 兴国电商网站建设h5开发app用什么工具好
  • 房地产网站的设计要求松岗做网站哪家便宜
  • php网站开发答辩问的问题wordpress古腾堡编辑器如何使用
  • 优质的响应式网站建设企业在线培训平台
  • 做网站第二年要续费吗视频聚合网站怎么做不侵权
  • soho做网站多少钱网站开发费用鉴定
  • 建设银行网站怎么下做外贸生意上国外网站
  • 模拟赛日志
  • 合肥互联网公司wordpress seo教程
  • 莱芜网站建设莱芜wordpress响应速度太慢
  • 2025年安全检测检验公司排行榜:十大权威机构深度解析
  • 优质服务的小企业网站建设wordpress制作功能型网站
  • 英文手表网站电商网站开发目的
  • 南京哪里有做公司网站的c 网站开发怎么弹出输入框
  • 九江网站设计公司中国外贸人才网
  • 江苏省住房与城乡建设厅网站首页自己做网站原始代码