Supervisor簡(jiǎn)介

Supervisor是用Python開(kāi)發(fā)的一套通用的進(jìn)程管理程序，能將一個(gè)普通的命令行進(jìn)程變?yōu)楹笈_daemon，并監控進(jìn)程狀態(tài)，異常退出時(shí)能自動(dòng)重啟。它是通過(guò)fork/exec的方式把這些被管理的進(jìn)程當作supervisor的子進(jìn)程來(lái)啟動(dòng)，這樣只要在supervisor的配置文件中，把要管理的進(jìn)程的可執行文件的路徑寫(xiě)進(jìn)去即可。也實(shí)現當子進(jìn)程掛掉的時(shí)候，父進(jìn)程可以準確獲取子進(jìn)程掛掉的信息的，可以選擇是否自己?jiǎn)?dòng)和報警。supervisor還提供了一個(gè)功能，可以為supervisord或者每個(gè)子進(jìn)程，設置一個(gè)非root的user，這個(gè)user就可以管理它對應的進(jìn)程

今天要說(shuō)的不是supervisor，關(guān)于supervisor的使用，百度一大堆，這里不多贅述，今天重點(diǎn)要說(shuō)的是supervisor事件監控

Event & Listener

Event 是在 Supervisor 3.0 引入的一個(gè)高級特性，如果只簡(jiǎn)單使用 Supervisor 管理進(jìn)程，則不需要了解 Event

但如果希望監控 Supervisor 管理的進(jìn)程的各種狀態(tài)（如: 啟動(dòng)、退出、失敗、退出狀態(tài)碼 …）并支持告警，才需要了解Event

利用 Supervisor 的 Event & Listener 功能進(jìn)行訂閱異常退出事件，并進(jìn)行報警處理

Supervisor 官方對其 Event 機制的描述是：一個(gè)進(jìn)程的監控/通知框架

該機制主要通過(guò)一個(gè) event listener 訂閱 event 通知實(shí)現。當被 Supervisor 管理的進(jìn)程有特定行為的時(shí)候，supervisor 就會(huì )自動(dòng)發(fā)出對應類(lèi)型的 event。即使沒(méi)有配置 listener，這些 event 也是會(huì )發(fā)的；如果配置了 listener 并監聽(tīng)該類(lèi)型的 event，那么這個(gè) listener 就會(huì )接收到該 event。event listener 需要自己實(shí)現，并像 program 一樣，作為 superviosr 的子進(jìn)程運行

具體配置實(shí)現

配置事件監聽(tīng)器

主管事件偵聽(tīng)器是通過(guò) 配置文件中的[eventlistener：x]指定的。關(guān)于Supervisor [eventlistener：x] 在配置中允許的鍵方面，幾乎與supervisor [program：x]完全一樣，只是Supervisor不遵循事件偵聽(tīng)器進(jìn)程的“捕獲模式”輸出（即事件偵聽(tīng)器不能是 PROCESS_COMMUNICATIONS_EVENT事件生成器）。因此，在事件偵聽(tīng)器的配置中指定stdout_capture_maxbytes或 stderr_capture_maxbytes是錯誤的?？梢苑湃肱渲梦募氖录陕?tīng)器部分的數量沒(méi)有人為限制

vim /etc/supervisord.d/eventlistener.ini
[eventlistener:mylistener]
command=/opt/my_custom_listener.py  ; 自定義的監控程序
events=PROCESS_STATE_EXITED,PROCESS_STATE_FATAL,TICK_60  ; 監控事件
; 下面的配置和`[program：x]`完全一樣
autostart=true
autorestart=true
log_stdout=true
log_stderr=true
stdout_logfile=/opt/supervisor_event_exited-stdout.log
stdout_logfile_maxbytes=50MB
stdout_logfile_backups=3
buffer_size=10
stderr_logfile=/opt/supervisor_event_exited-stderr.log
stderr_logfile_maxbytes=50MB
stderr_logfile_backups=3

配置監聽(tīng)器腳本

vim /opt/my_custom_listener.py
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import sys
from supervisor import childutils


def write_stdout(s):
    # only eventlistener protocol messages may be sent to stdout
    sys.stdout.write(s)
    sys.stdout.flush()

def write_stderr(s):
    sys.stderr.write(s)
    sys.stderr.flush()

def main():
    while 1:
        # transition from ACKNOWLEDGED to READY
        write_stdout('READY\n')

        # read header line and print it to stderr
        line = sys.stdin.readline()
        write_stderr(line)

        # read event payload and print it to stderr
        headers = dict([ x.split(':') for x in line.split() ])
        data = sys.stdin.read(int(headers['len']))
        write_stderr(data)

        # transition from READY to ACKNOWLEDGED
        write_stdout('RESULT 2\nOK')


        # 使用supervisor的childutils解析
        headers, payload = childutils.listener.wait(sys.stdin, sys.stdout)
        pheaders, pdata = childutils.eventdata(payload + '\n')
        # 當 program 的退出碼為對應配置中的 exitcodes 值時(shí), expected=1; 否則為0
        if int(pheaders.get('expected', 1)):
            childutils.listener.ok(sys.stdout)
            continue
        else:  # 0, 異常退出，根據 pheaders 的值發(fā)送報警處理
            ############################
            pass  # 你的自定制發(fā)送報警邏輯 #
            with open('/opt/sup.log', 'a') as f:  # 這里寫(xiě)入文件作為報警簡(jiǎn)單模擬
                f.write(str(pheaders))
                f.write(str(pdata))
                f.write('\n')
            ############################

            # 向 stdout 寫(xiě)入"RESULT\nOK"，并進(jìn)入下一次循環(huán)
            childutils.listener.ok(sys.stdout)

if __name__ == '__main__':
    main()

這里告警的方式可以自己定義，可以郵件，也可以通過(guò)webhook調用im接口告警

實(shí)際上supervisor自帶有監控利器——superlance

superlance

superlance是基于supervisor的事件機制實(shí)現的一系列命令行的工具集，它實(shí)現了許多supervisor本身沒(méi)有實(shí)現的實(shí)用的進(jìn)程監控和管理的特性，包括內存監控，http接口監控，郵件和短信通知機制等。同樣的，superlance本身也是使用python編寫(xiě)的

安裝

由于superlance是一個(gè)python包，安裝起來(lái)十分簡(jiǎn)單，通過(guò)easy_install或者pip就可以簡(jiǎn)單的安裝：

easy_install superlance
pip install superlance

當然也可以到github上獲得最新的源碼（https://github.com/Supervisor/superlance）并安裝

python setup.py install

安裝后執行以下httpok命令，如果該命令存在，則說(shuō)明superlance已經(jīng)正常安裝了

superlance組件

superlance是一系列命令行工具的集合，其包括以下這些命令：

郵件告警

superlance是使用sendmail來(lái)發(fā)送郵件的，所以需要安裝sendmail

apt install sendmail

安裝完成后配置superlance

cat /etc/supervisor/conf.d/redis.conf
[program:redis]
command=/usr/local/redis/bin/redis-server /home/redis/etc/redis.conf
directory=/usr/local/redis/bin/
user=redis
autostart = true
autorestart = true
#startsecs = 30
stopwaitsecs = 1
stopsignal = TERM
redirect_stderr = true
[eventlistener:redis_monitor]
command=crashmail -p redis -m xxx@qq.com
events=PROCESS_STATE_EXITED
redirect_stderr=false

首先配置了redis進(jìn)程啟動(dòng)項目，接著(zhù)配置了一個(gè)名為redis_monitor的事件監聽(tīng)器，它接受來(lái)自supervisor的PROCESS_STATE_EXITED事件，并且會(huì )觸發(fā)crashmail的命令行調用。

PROCESS_STATE_EXITED是在一個(gè)supervisor的監控項對應的進(jìn)程意外退出時(shí)會(huì )觸發(fā)的事件，這就使得一個(gè)進(jìn)程出現意外退出的情況下會(huì )通知到crashmail。

command參數中-p參數配置了crashmail只會(huì )對名為redis的監控項作出響應，而-m參數中則配置了崩潰郵件會(huì )被發(fā)送到的地址

靈活利用superlance，可以完成各種告警需求，實(shí)現各種進(jìn)程監控