JStorm是一个分布式实时计算引擎
JStorm是一个类似HadoopMapReduce的系统,用户按照指定的接口实现一个任务,然后将这个任务递交给JStorm系统,JStorm将这个任务跑起来,并且按7*24小时运行起来,一旦中间一个Worker发生意外故障,调度器立即分配一个新的Worker替换这个失效的Worker。
因此,从应用的角度,JStorm应用是一种遵守某种编程规范的分布式应用。从系统角度,JStorm是一套类似MapReduce的调度系统。从数据的角度,JStorm是一套基于流水线的消息处理机制。
实时计算现在是大数据领域中最火爆的一个方向,因为人们对数据的要求越来越高,实时性要求也越来越快,传统的HadoopMapReduce,逐渐满足不了需求,因此在这个领域需求不断。
Storm组件和Hadoop组件对比
优点
在Storm和JStorm出现以前,市面上出现很多实时计算引擎,但自Storm和JStorm出现后,基本上可以说一统江湖:究其优点:
开发非常迅速:接口简单,容易上手,只要遵守Topology、Spout和Bolt的编程规范即可开发出一个扩展性极好的应用,底层RPC、Worker之间冗余,数据分流之类的动作完全不用考虑
扩展性极好:当一级处理单元速度,直接配置一下并发数,即可线性扩展性能
健壮强:当Worker失效或机器出现故障时,自动分配新的Worker替换失效Worker
数据准确性:可以采用Ack机制,保证数据不丢失。如果对精度有更多一步要求,采用事务机制,保证数据准确。
实时性高:JStorm的设计偏向单行记录,因此,在时延较同类产品更低
应用场景
JStorm处理数据的方式是基于消息的流水线处理,因此特别适合无状态计算,也就是计算单元的依赖的数据全部在接受的消息中可以找到,并且最好一个数据流不依赖另外一个数据流。
因此,常常用于:
日志分析,从日志中分析出特定的数据,并将分析的结果存入外部存储器如数据库。目前,主流日志分析技术就使用JStorm或Storm
管道系统,将一个数据从一个系统传输到另外一个系统,比如将数据库同步到Hadoop
消息转化器,将接受到的消息按照某种格式进行转化,存储到另外一个系统如消息中间件
统计分析器,从日志或消息中,提炼出某个字段,然后做count或sum计算,最后将统计值存入外部存储器。中间处理过程可能更复杂。
实时推荐系统,将推荐算法运行在jstorm中,达到秒级的推荐效果
基本概念
首先,JStorm有点类似于Hadoop的MR(Map-Reduce),但是区别在于,hadoop的MR,提交到hadoop的MRjob,执行完就结束了,进程就退出了,而一个JStorm任务(JStorm中称为topology),是7*24小时永远在运行的,除非用户主动kill。
JStorm组件
接下来是一张比较经典的Storm的大致的结构图(跟JStorm一样):
图中的水龙头(好吧,有点俗)就被称作spout,闪电被称作bolt。
在JStorm的topology中,有两种组件:spout和bolt。
#spout
spout代表输入的数据源,这个数据源可以是任意的,比如说kafaka,DB,HBase,甚至是HDFS等,JStorm从这个数据源中不断地读取数据,然后发送到下游的bolt中进行处理。
#bolt
bolt代表处理逻辑,bolt收到消息之后,对消息做处理(即执行用户的业务逻辑),处理完以后,既可以将处理后的消息继续发送到下游的bolt,这样会形成一个处理流水线(pipeline,不过更精确的应该是个有向图);也可以直接结束。
通常一个流水线的最后一个bolt,会做一些数据的存储工作,比如将实时计算出来的数据写入DB、HBase等,以供前台业务进行查询和展现。
组件的接口
JStorm框架对spout组件定义了一个接口:nextTuple,顾名思义,就是获取下一条消息。执行时,可以理解成JStorm框架会不停地调这个接口,以从数据源拉取数据并往bolt发送数据。
同时,bolt组件定义了一个接口:execute,这个接口就是用户用来处理业务逻辑的地方。
每一个topology,既可以有多个spout,代表同时从多个数据源接收消息,也可以多个bolt,来执行不同的业务逻辑。
调度和执行
接下来就是topology的调度和执行原理,对一个topology,JStorm最终会调度成一个或多个worker,每个worker即为一个真正的操作系统执行进程,分布到一个集群的一台或者多台机器上并行执行。
而每个worker中,又可以有多个task,分别代表一个执行线程。每个task就是上面提到的组件(