xml地图|网站地图|网站标签 [设为首页] [加入收藏]

守护程序的容错机制,实时可靠的开源分布式实

2019-10-03 23:57栏目:操作系统
TAG:

作者:Jack47

分享一套今年最新Hadoop大数据教程和100道Hadoop大数据必会面试题。

原文链接:http://storm.apache.org/releases/1.0.2/Daemon-Fault-Tolerance.html

转载请保留作者和原文出处

因为链接经常被和谐,需要的朋友请 加微信 ganshiyun666 来获取最新下载链接,注明“OSC”

本人原创翻译,转载请注明出处

欢迎关注我的微信公众账号程序员杰克,两边的文章会同步,也可以添加我的RSS订阅源。

 

Storm有几种守护进程:负责调度worker的Nimbus,负责启动和停止worker的supervisors,提供日志访问的log viewer,展示集群状态信息的UI。

本文是Storm系列之一,主要介绍Storm的架构设计,推荐读者在阅读Storm介绍(一)的基础之上,阅读这一篇。本文只是作者的读书笔记,偏重于浅层次的架构介绍,如果想真正理解内部设计时候的权衡,还需要更多的去阅读Storm源码。

教程已帮助300+人成功转型Hadoop开发,90%起薪超过20K,工资比之前翻了一倍。

worker死掉时会发生什么?

worker死掉时,supervisor将会重启它。如果它启动时继续死掉并且不能给Nimbus发送心跳,Nimbus会重新调度worker。

理解Storm的架构,有助于帮助我们理解大型分布式系统设计中需要解决的问题,以及解决问题的思路,帮助我们更好的进行Storm性能调优化。

百度Hadoop核心架构师亲自录制

节点死掉时会发生什么?

分配给那个机器的任务将超时,Nimbus会重新分配任务给其他机器。

架构

先上一张Storm的架构图,如果熟悉 GFS和Hadoop的架构,会发现这些系统的架构图都很类似。
图片 1

Storm架构图

内容包括0基础入门、Hadoop生态系统、真实商业项目实战3大部分。其中商业案例可以让你接触真实的生产环境,训练自己的开发能力。

Nimbus或Supervisor进程死掉会发生什么?

Nimbus和Supervisor守护程序被设计为fail-fast(任何时候异常发生就进行自毁)和stateless(所有的状态保存在zookeeper或磁盘上)。正如在Setting up a Storm cluster里描述的那样,Nimbus和Supervisor守护程序必须使用daemontools或monit等工具监督管理。所以如果Nimbus和Supervisor守护程序死掉了,它们会像什么都没发生一样重启。

显而易见,worker进程不受Nimbus和Supervisor守护程序异常终止的影响。这和Hadoop正好相反,在Hadoop里,如果JobTracker终止,运行中的jobs也会终止。

版权声明:本文由必发88手机在线官网发布于操作系统,转载请注明出处:守护程序的容错机制,实时可靠的开源分布式实