plantão
Acione quem está de plantão, a partir da ferramenta que viu a falha
Um alerta postado num canal compartilhado às 3 da manhã muitas vezes não chega a ninguém. Uma política de escalonamento decide quem um monitor que falha aciona e quem vem em seguida quando ninguém responde, e uma escala de plantão em um dos seus níveis decide qual pessoa é essa neste momento. As duas ficam no mesmo produto que as suas verificações e a sua página de status, então não há uma segunda ferramenta para conectar.
Três funções, um incidente
A configuração comum são três produtos: um monitor que vê a falha, uma ferramenta de plantão que decide quem fica sabendo e uma página de status para os seus clientes. Cada um tem a própria conta e a própria lista de serviços, e a cola entre eles é você quem mantém. Aqui, um monitor que falha abre um incidente, e uma política de escalonamento nesse monitor, ou a padrão da sua organização, aciona quem estiver de plantão. Quando o monitor é um componente da sua página de status, o mesmo incidente aparece lá sozinho ao abrir e ao ser resolvido, e você narra o que acontece entre uma coisa e outra. Reconhecer o incidente interrompe os acionamentos e não publica nada para o público.
Alertas das ferramentas que você já usa
Nem todo acionamento começa com uma verificação. Uma fonte de alerta dá ao Prometheus Alertmanager, ao Grafana ou ao Datadog uma URL para onde enviar, e um formato JSON simples atende scripts. Um alerta disparado abre um incidente que aciona pela política de escalonamento da fonte, ou pela padrão da sua organização, do mesmo jeito que um monitor que falha, e a recuperação enviada pela ferramenta o fecha. Por padrão, um grupo de alertas é um incidente, então duzentos pods com falha acionam uma vez só. As fontes de alerta vêm com o Team, cinco por conta.
Camadas para o horário comercial e as noites
Uma escala é composta de um ou mais rodízios, chamados camadas, no fuso horário da escala. Uma camada fica de plantão o tempo todo ou só nas janelas semanais que você definir, como de segunda a sexta, das 09:00 às 17:00. A cada momento, é acionada a primeira camada que estiver de plantão, e as camadas seguintes cobrem as horas que as anteriores deixam livres. Uma camada para o horário comercial e uma segunda que vale o tempo todo cobrem noites e fins de semana numa única escala. Uma camada cujas horas as camadas anteriores já cobrem nunca seria acionada, e o editor avisa isso antes de você salvar.
Passagens de plantão que respeitam o horário
Rodízios diários e semanais passam o plantão no mesmo horário local a cada período, então uma passagem às 09:00 de segunda-feira continua às 09:00 depois que o relógio muda. Um rodízio personalizado tem uma duração fixa de uma hora ou mais, como doze horas, contada a partir da primeira passagem, então não acompanha as mudanças de horário de verão. A lista de escalas mostra quem está de plantão agora, até quando e quem assume em seguida.
Férias e trocas sem mexer no rodízio
Uma escala salva abre num calendário de quem está de plantão a cada dia. Clique num dia de início e num dia de fim, escolha quem cobre, e essa substituição tem prioridade sobre o rodízio durante esse período. O rodízio em si não muda, então, quando a substituição termina, a ordem segue de onde estaria.
Seus plantões no seu próprio calendário
A página de plantão lista os seus próximos plantões em todas as escalas, incluindo as substituições que você cobre. Ela também dá a você um link privado que o Google Calendar, o Apple Calendar ou o Outlook podem assinar, para que os seus plantões fiquem ao lado do resto da sua semana. Gerar um link novo invalida o antigo, e o link deixa de funcionar quando você sai da organização.
Escalonamento quando ninguém responde
Uma política de escalonamento é uma escada de níveis. O nível 1 aciona quando o incidente abre, e cada nível espera antes que o próximo acione. Um nível pode acionar canais de notificação, escalas de plantão ou os dois, e a escada pode se repetir desde o topo até mais dez vezes. Associe uma política a um monitor ou torne-a a padrão para todo monitor que não tenha uma própria. Reconhecer ou resolver o incidente interrompe a escada. Depois do último acionamento, entram os lembretes do monitor, a menos que você os tenha desativado para esse monitor.
Um aviso antes que um acionamento não chegue a ninguém
Cada pessoa escolhe os canais pelos quais é acionada: SMS, Slack, Telegram, Pushover, ntfy, PagerDuty, e-mail ou qualquer um dos outros. Uma pessoa que não escolheu nenhum aparece como de plantão, mas não pode ser acionada, e tanto a lista de escalas quanto a página de plantão avisam sobre isso enquanto ainda há tempo de corrigir. Pelo celular, o botão “Acknowledge” de uma notificação do ntfy assume o incidente, e reconhecer um alerta de emergência do Pushover faz o mesmo, então os lembretes param sem que você precise abrir o notebook.
Perguntas frequentes
Como ele decide quem é acionado?
O que acontece quando ninguém reconhece?
Reconhecer um incidente atualiza a página de status?
Consigo ver meus plantões no Google Calendar?
Ainda preciso do PagerDuty ou do Opsgenie?
Uma instalação auto-hospedada tem plantão?
Visão geral
- Rodízios diário, semanal ou de duração personalizada
- Horário das camadas o tempo todo, ou janelas semanais
- Substituições escolha os dias num calendário
- Seus plantões um feed para o seu app de calendário
- Escalonamento níveis com uma espera entre eles
- Encerra quando alguém reconhece ou o incidente é resolvido