博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop------applog读写流程
阅读量:3982 次
发布时间:2019-05-24

本文共 494 字,大约阅读时间需要 1 分钟。

1、NodeManager初始化时会先初始化ContainerManagerImpl服务,从而触发LogAggregationService也被初始化,而该服务是用于处理applog的读写流程的。

 

2、LogAggregationService会根据各种事件触发,从而读取本地的container log,然后写到hdfs上的app-log-dir,并删除本地的container log。

 

3、其中每个nodemanager的本地的container-log,是在ContainerLaunch.call中运行container时,调用LogDirsHandlerService来写到本地磁盘的,这个流程可以参照中的20点所述。

 

应用优化点:默认applog是保存7天才删除,而实际应用过程中可以根据job状态定制自己的job 删除任务。比如运行成功的job log保留1天,失败的才保留七天,这样可以减少hdfs上log存储的数量,节约磁盘空间。这样的改动最好是修改historyserver,因为上面有现成的接口可以获取运行完成的job的状态。

 

整个applog读写流程如下图所示:

 

转载地址:http://ihpui.baihongyu.com/

你可能感兴趣的文章
面试---刷牛客算法题
查看>>
Android下调用收发短信邮件等(转载)
查看>>
Android中电池信息(Battery information)的取得
查看>>
SVN客户端命令详解
查看>>
Android/Linux 内存监视
查看>>
Linux系统信息查看
查看>>
用find命令查找最近修改过的文件
查看>>
Android2.1消息应用(Messaging)源码学习笔记
查看>>
在android上运行native可执行程序
查看>>
Phone双模修改涉及文件列表
查看>>
android UI小知识点
查看>>
Android之TelephonyManager类的方法详解
查看>>
Android 获取屏幕的分辨率
查看>>
android raw读取超过1M文件的方法
查看>>
ubuntu下SVN服务器安装配置
查看>>
MPMoviePlayerViewController和MPMoviePlayerController的使用
查看>>
CocoaPods实践之制作篇
查看>>
[Mac]Mac 操作系统 常见技巧
查看>>
苹果Swift编程语言入门教程【中文版】
查看>>
[转载]CSDN精选iPhone开发博客
查看>>