之前分享过几篇优化pod重启的文章,有朋友发私信问:看你的优化文章很过瘾,可否分享下如何收集pod重启前的现场。
案例分享-full gc导致k8s pod重启
记一次k8s pod频繁重启的优化之旅
的确是个好问题,之前写文章的时候忽略了这一点,一个完整的现场对破案的作用不言而喻,今天花点时间和大伙探讨一下。
守株待兔阶段
这个时期处于人工盯屏阶段,打开rancher(一款k8s集群管理工具)界面观察pod的状态,如果发现pod的状态变成下图(Container with unready status意味着健康检查失败)这样的时候立刻进入容器的命令行使用jmap命令收集dump信息。
显然运气的成分多一些,比较浪费时间。
全自动阶段
盯屏效率太低,有没有机制能在pod重启前自动收集现场,无人值守,为开发在事后分析提供充分的证据。
接下来就是今天的主角登场,容器的生命周期回调,Kubernetes 为容器提供了生命周期回调。回调使容器能够了解其管理生命周期中的事件,并在执行相应的生命周期回调时运行在处理程序中实现的代码。
有两个回调暴露给容器:
PostStart
这个回调在容器被创建之后立即被执行。但是,不能保证回调会在容器入口点(ENTRYPOINT)之前执行。没有参数传递给处理程序。
PreStop
在容器因 API 请求或者管理事件(诸如存活态探针、启动探针失败、资源抢占、资源竞争等) 而被终止之前,此回调会被调用。如果容器已经处于已终止或者已完成状态,则对 preStop 回调的调用将失败。在用来停止容器的 TERM 信号被发出之前,回调必须执行结束。Pod 的终止宽限周期在服务器托管网PreStop
回调被执行之前即开始计数, 所以无论回调函数的执行结果如何,容器最终都会在 Pod 的终止宽限期内被终止。没有参数会被传递给处理程序。
我们最终决定借助PreStop回调来实现自动收集现场,配置如下:
lifecycle: preStop: exec: command: - /bin/sh - -c - pid=`ps -ef |grep java | grep -v grep |awk '{p服务器托管网rint $1}'`; jmap -dump:format=b,file=/data/dump/${JAR_NAME}.dump ${pid}
大致意思是在容器销毁前通过jmap命令收集dump到指定目录。
有两点需要特别说明:
1.注意这个目录需要做持久化,而且要及时清理减少磁盘占用,因为日常的发布也会触发preStop;
2.另一个需要注意的是终止宽限期-terminationGracePeriodSeconds需要调整,给jmap预留充分的时间保留现场,也不能太长,调长的副作用是滚动发布会变慢。
推荐阅读
https://kubernetes.io/zh-cn/docs/concepts/containers/container-lifecycle-hooks/
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
机房租用,北京机房租用,IDC机房托管, http://www.fwqtg.net
相关推荐: 《Linux网络开发必学教程》29_动态创建交互页面DT4SW Http File ServerDT4SW Http File ServerDT4SW Http File Server
问题:如何创建浏览器中的文件展示页面? 再论前端页面 交互页面分析 静态部分 表格,页面结构 动态部分 文件浏览路径 (Path) 文件列表(Table) “” “” ” ” ” ” ” D.T.Software” ” ” ” ” ” DT4SW Http F…