• 候选企业:中远海运能源运输股份有限公司 2019-05-17
  • 人民网家居频道互动合作联系方式 2019-05-10
  • 【我是援藏教师】这一次,带上女儿去支教 2019-05-07
  • 第四届中华健康节启幕:引领全社会正确的健康养生理念 2019-05-07
  • 定陶战役:示弱于敌重点围歼的范例 2019-05-01
  • 大国担当!中国引领全球气候治理(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-04-29
  • 合肥市人大常委会副主任吴利林到皖维集团调研 2019-04-21
  • 党的十九大最重大的理论成就 2019-04-16
  • 大数据杀熟,别急着甩锅 2019-04-16
  • 沁园春 春色—野夫.blog的博客—强国博客—人民网 2019-04-10
  • 河北经济日报官方微信 2019-04-10
  • “日照”河山汉字摩崖石刻 2019-03-27
  • 不动产登记全国联网 房价会下跌吗? 2019-03-27
  • 外交部举行中外媒体吹风会:王毅介绍上合组织青岛峰会情况 2019-03-17
  • 对中国人民而言,腐败就是从天上掉下来的,不是从人民群众中滋生出来的。 2019-03-17
  • 楼主: haipeng1221
    3073 2

    江苏十一选五开奖结果l: [Hadoop] Hadoop的zkfc机制(守护进程) [推广有奖]

    • 0关注
    • 0粉丝

    大专生

    36%

    还不是VIP/贵宾

    -

    威望
    0
    论坛币
    1635 个
    学术水平
    0 点
    热心指数
    0 点
    信用等级
    0 点
    经验
    340 点
    帖子
    25
    精华
    0
    在线时间
    67 小时
    注册时间
    2018-7-11
    最后登录
    2019-1-26

    楼主
    haipeng1221 发表于 2018-10-17 11:43:39 |只看作者 |倒序
    本帖最后由 haipeng1221 于 2018-10-17 11:45 编辑

    zkfc(守护进程):ZKFC的线程模型总体上来讲比较简单的,它主要包括三类线程,一是主线程;二是HealthMonitor线程; 一是zookeeper客户端的线程
    • HealthMonitor:用于监控nameNode(NN)是否unavailable或者处于unhealth状态,定期check NN的健康状况,在NN健康状况发生变化时,通过回调函数把变化通知给ZKFailoverController
    • ActiveStandbyElector:用于监控NN在zk中的状态,管理NN在zookeeper上的状态,zookeeper上对应node的结点发生变化时,通过回调函数把变化通知给ZKFailoverController
    • ZKFailoverController: 驱动整个ZKFC的运转,通过向HealthMonitor和ActiveStandbyElector注册回调函数的方式订阅subscribe HealthMonitor和ActiveStandbyElector的事件并管理NN的状态,并做相应的处理。另外ZKFC还需要负责fencing。
    • FailoverController: 提供做graceful failover的相关功能(dfs admin可以通过命令行工具手工发起failover)
    注:1.Fencing的设计

    通过增加了fencing的回调机制对ASE进行增强,详细如下:
       1.1在获取了ActiveLock之后,通知本地NN成为了Active之前,检查breadcrumb znode的存在性
           1)面包屑Znode存在的话,调用fenceOldActive(data)从那个NN上传入data数据,如果成功了,删除面包屑Znode
          2)如果fencing失败,log一个error,扔掉lock,sleep一会,重新进行Election。这样也给其他NN有机会成为ActiveNN
          3)使用本地NN的标识数据,创建一个新的breadcrumb node。
      1.2当退出Election的时候,quiting的NN能够自己判定是否需要fencing。如果需要,将删除breadcrumb node,然后关闭ZK session。

    2.zk(zookeeper)在zkfc中可以提供的功能
    (1) Failure detector: 及时发现出故障的NN,并通知zkfc
    (2) Active node locator: 帮助客户端定位哪个是Active的NN
    (3) Mutual exclusion of active state: 保证某一时刻只有一个Active的NN

    架构图:









    stata SPSS
    沙发
    wangyong8935 发表于 2018-10-26 13:04:22 |只看作者
    藤椅
    wangyong8935 发表于 2018-10-26 14:30:32 |只看作者
    您需要登录后才可以回帖 登录 | 我要注册

    京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权?;ど?/a>   免责及隐私声明

    GMT+8, 2019-5-27 21:58
    江苏省十一选五走势
  • 候选企业:中远海运能源运输股份有限公司 2019-05-17
  • 人民网家居频道互动合作联系方式 2019-05-10
  • 【我是援藏教师】这一次,带上女儿去支教 2019-05-07
  • 第四届中华健康节启幕:引领全社会正确的健康养生理念 2019-05-07
  • 定陶战役:示弱于敌重点围歼的范例 2019-05-01
  • 大国担当!中国引领全球气候治理(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-04-29
  • 合肥市人大常委会副主任吴利林到皖维集团调研 2019-04-21
  • 党的十九大最重大的理论成就 2019-04-16
  • 大数据杀熟,别急着甩锅 2019-04-16
  • 沁园春 春色—野夫.blog的博客—强国博客—人民网 2019-04-10
  • 河北经济日报官方微信 2019-04-10
  • “日照”河山汉字摩崖石刻 2019-03-27
  • 不动产登记全国联网 房价会下跌吗? 2019-03-27
  • 外交部举行中外媒体吹风会:王毅介绍上合组织青岛峰会情况 2019-03-17
  • 对中国人民而言,腐败就是从天上掉下来的,不是从人民群众中滋生出来的。 2019-03-17
  • 上海时时彩乐乐 山东十一运夺金加奖 神鹰报码聊天室 大发娱乐城 nba预测爱彩网 排列三和尾走势图 大乐透15052期开奖结果 体彩p5中奖新闻 pk10技巧235780不定位 山东群英会现场直播 捕鱼假日 湖南彩票网报纸 秒速飞艇真假 足球6场半全场 北单比分直播新浪爱彩 幸运飞艇开奖记录3分钟