竹笋

首页 » 问答 » 环境 » OpenMLDBPulsarConn
TUhjnbcbe - 2022/6/1 13:21:00
导读:人工智能工程化落地的关键点之一,在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快地将线上实时数据转化为AI可用的特征,将加速AI应用落地的效率及效果。为此,OpenMLDB和ApachePulsar合作推出OpenMLDBPulsarConnector,实现稳定的流式集成,为高效打通实时数据到特征工程提供一条值得期待的清晰路径。我是*威,目前是第四范式研发架构师,也是OpenMLDB的核心研发。今天主要为大家介绍三个方面的内容:

PulsarConnector简介

OpenMLDBConnectoronPulsar介绍

OpenMLDBConnectoronPulsar演示

01PulsarConnector简介

ApachePulsar是一个云原生的,分布式消息流平台。它可以作为OpenMLDB的在线数据源,将实时的数据流导入到OpenMLDB在线。Pulsar提供了Connector框架,在此基础上可以与不同系统的对接。我们基于Connector框架,开发了OpenMLDBJDBCConnector,通过它我们就可以无障碍地连接Pulsar与OpenMLDB,Pulsar的消息将自动地写入OpenMLDB。

02OpenMLDB-PulsarConnector介绍

1.定位

OpenMLDBPulsarConnector,高效打通实时数据到特征工程,大幅提升数据使用效率、助力开发者构建实时数据管道、使企业更专注和更高效的探索数据的商业价值。

在OpenMLDB的工作流中,PulsarConnector(位置如下图所示)帮助开发者轻松地将消息系统Pulsar与开源机器学习数据库OpenMLDB连接起来,形成一条实时数据流。

2.功能

Pulsar可以使用connector来连接其他系统。Sourceconnector可以使其他系统的数据流入Pulsar,sinkconnector可以将消息流出至其他系统。

OpenMLDBPulsarConnector支持了sink功能,使Pulsar消息可以写入到OpenMLDB在线存储中。

可以通过ConnectorAdminCLI并结合sinks子命令来管理Pulsarconnector(例如,创建、更新、启动、停止、重启、重载、删除以及其他操作)。

3.优势

想要使OpenMLDB与Pulsar拥有稳定的流式集成,我们推荐直接使用PulsarOpenMLDBconnector。它具备诸多优势,包括但不限于:

易上手。无需编写任何代码,只需进行简单配置,便可通过OpenMLDBPulsarConnector将Pulsar的消息流入OpenMLDB。简化的数据导入过程能大幅提升企业的数据使用效率。

易扩展。根据不同的业务需求,可以选择在单机或集群上运行OpenMLDBPulsarConnector,助力企业构建实时数据管道。

可持续。OpenMLDBPulsarConnector简单的安装和部署过程,使企业能更专注和更高效地探索数据的商业价值。

4.Connector下载地址

OpenMLDBPulsarConnector:

1
查看完整版本: OpenMLDBPulsarConn