Apache NiFi 术语词汇解释

本文转载自：NIFI术语 - memoordit的专栏 - CSDN博客

  • DataFlow Manager
    DataFlow Manager（DFM）是一个NiFi用户，具有添加，移除和修改NiFi数据流组件的权限。

  • FlowFile
    FlowFile代表NiFi中的一个单一数据。 FlowFile由两个组件组成：FlowFile属性和FlowFile内容。 内容是由FlowFile表示的数据。 属性是提供关于数据的信息或上下文的特性; 它们由键值对组成。 所有FlowFiles都具有以下标准属性：

  • uuid
    FlowFile的唯一标识

  • filename
    将数据存储到磁盘或外部服务时可以使用的可读文件名

  • path
    在将数据存储到磁盘或外部服务时可以使用的分层结构化值，以便数据不会存储在单个目录中

  • Processor
    处理器是用于监听传入数据的NiFi组件; 从外部来源提取数据; 发布数据到外部来源; 并从FlowFiles中路由，转换或提取信息。

  • Relationship
    每个处理器具有零个或多个为其定义的关系。 这些关系被命名以表示处理FlowFile的结果。 处理器处理完FlowFile之后，它会将FlowFile路由（或“传送”）到其中一个关系。 然后，DFM能够将这些关系中的每一个连接到其他组件，以便指定在每个可能的处理结果下，FlowFile下一步应该流到哪里。

  • Connection
    DFM通过将组件从NiFi工具栏的组件部分拖到画布上，然后通过连接将组件连接在一起，从而创建自动数据流。每个连接由一个或多个关系组成。 对于绘制的每个连接，DFM可以确定哪些关系应该用于连接。 这允许数据根据处理结果以不同的方式进行路由。 每个连接都有一个FlowFile队列。 当FlowFile被转移到特定的关系时，它被添加到属于关联连接的队列中。

  • Controller Service
    控制器服务是在用户界面中由DFM添加和配置之后，当NiFi启动并提供供其他组件（例如处理器或其他控制器服务）使用的信息时启动的扩展点。 StandardSSLContextService是由几个组件使用的公共控制器服务。 它提供了一次性配置密钥库和/或信任库属性并在整个应用程序中重新使用该配置的能力。 这个想法是，控制器服务不是在每个可能需要它的处理器中配置，而是根据需要提供给任何处理器。

  • Reporting Task
    报告任务在后台运行，提供关于NiFi实例中发生的事件的统计报告。 DFM根据需要在用户界面中添加和配置报告任务。 常见的报告任务包括ControllerStatusReportingTask，MonitorDiskUsage报告任务，MonitorMemory报告任务和StandardGangliaReporter。

  • Funnel
    漏斗是一个NiFi组件，用于将来自多个连接的数据合并到单个连接中。

  • Process Group
    当数据流变得复杂时，以更高，更抽象的级别划分数据流通常是有益的。 NiFi允许多个组件（如处理器）一起组成一个进程组。 NiFi用户界面使得DFM可以轻松地将多个进程组连接在一个逻辑数据流中，并允许DFM进入一个进程组，以便查看和处理进程组内的组件。

  • Port
    使用一个或多个进程组构建的数据流需要将进程组连接到其他数据流组件的方法， 这是通过使用端口来实现的。 DFM可以将任意数量的输入端口和输出端口添加到进程组，并适当命名这些端口。

  • Remote Process Group
    正如数据传入和传出过程组一样，有时需要将数据从一个NiFi实例传输到另一个实例。 虽然NiFi为从一个系统向另一个系统传输数据提供了许多不同的机制，但如果将数据传输到另一个NiFi实例，远程过程组通常是最简单的方法。

  • Bulletin
    NiFi用户界面提供了有关应用程序当前状态的监视和反馈。 除了滚动统计数据和为每个组件提供的当前状态之外，组件还能够报告公告。 只要组件报告了公告，公告图标就会显示在该组件上。 系统级公告显示在页面顶部附近的状态栏中。 使用鼠标悬停在该图标上将提供一个工具提示，显示公告的时间和严重程度（调试，信息，警告，错误）以及公告的消息。 所有组件的公告也可以在全局菜单中的公告栏页面中查看和过滤。

  • Template
    通常情况下，数据流由许多可重用的子流组成。 NiFi允许DFM选择一部分数据流（或整个数据流）并创建一个模板。 这个模板被赋予一个名字，然后可以像其他组件一样拖到画布上。 因此，可以将多个组件组合在一起以构建更大的构建块，从而创建数据流。 这些模板也可以导出为XML并导入到另一个NiFi实例中。

  • flow.xml.gz
    DFM放在NiFi用户界面画布上的所有内容都被实时写入到一个名为flow.xml.gz的文件中。该文件默认位于nifi / conf目录中。在画布上进行的任何更改都会自动保存到该文件中，用户无需点击“保存”按钮。另外，NiFi在更新时自动在归档目录中创建该文件的备份副本。您可以使用这些归档文件来回滚流配置。为此，请停止NiFi，用所需的备份副本替换flow.xml.gz，然后重新启动NiFi。在集群环境中，停止整个NiFi集群，替换其中一个节点的flow.xml.gz，然后重新启动这个节点，从其他节点中删除flow.xml.gz。一旦确认节点启动为单节点群集，请启动其他节点。替换的流配置将在整个集群中同步。 flow.xml.gz的名称和位置以及自动归档行为是可配置的。有关详细信息，请参见“System Administrator’s Guide”。

Comments