PulsarConnector简介
OpenMLDBConnectoronPulsar介绍
OpenMLDBConnectoronPulsar演示
01PulsarConnector简介ApachePulsar是一个云原生的,分布式消息流平台。它可以作为OpenMLDB的在线数据源,将实时的数据流导入到OpenMLDB在线。Pulsar提供了Connector框架,在此基础上可以与不同系统的对接。我们基于Connector框架,开发了OpenMLDBJDBCConnector,通过它我们就可以无障碍地连接Pulsar与OpenMLDB,Pulsar的消息将自动地写入OpenMLDB。
02OpenMLDB-PulsarConnector介绍1.定位
OpenMLDBPulsarConnector,高效打通实时数据到特征工程,大幅提升数据使用效率、助力开发者构建实时数据管道、使企业更专注和更高效的探索数据的商业价值。
在OpenMLDB的工作流中,PulsarConnector(位置如下图所示)帮助开发者轻松地将消息系统Pulsar与开源机器学习数据库OpenMLDB连接起来,形成一条实时数据流。
2.功能
Pulsar可以使用connector来连接其他系统。Sourceconnector可以使其他系统的数据流入Pulsar,sinkconnector可以将消息流出至其他系统。
OpenMLDBPulsarConnector支持了sink功能,使Pulsar消息可以写入到OpenMLDB在线存储中。
可以通过ConnectorAdminCLI并结合sinks子命令来管理Pulsarconnector(例如,创建、更新、启动、停止、重启、重载、删除以及其他操作)。
3.优势
想要使OpenMLDB与Pulsar拥有稳定的流式集成,我们推荐直接使用PulsarOpenMLDBconnector。它具备诸多优势,包括但不限于:
易上手。无需编写任何代码,只需进行简单配置,便可通过OpenMLDBPulsarConnector将Pulsar的消息流入OpenMLDB。简化的数据导入过程能大幅提升企业的数据使用效率。
易扩展。根据不同的业务需求,可以选择在单机或集群上运行OpenMLDBPulsarConnector,助力企业构建实时数据管道。
可持续。OpenMLDBPulsarConnector简单的安装和部署过程,使企业能更专注和更高效地探索数据的商业价值。
4.Connector下载地址
OpenMLDBPulsarConnector: