Slik virker det
Fra det første signalet til en bekreftet retting.
Åtte steg, én registrering. Hvert steg sier tydelig om OpsCommand gjør det, foreslår det, eller venter på at en person bestemmer.
Problemet
Spredte verktøy. Tregere løsning.
Overvåking i ett verktøy, klager i en innboks, saker i et annet system, beslutninger i chat. Hvert av dem har en del av sannheten; ingen har hele bildet.
I dag: spredt
- OvervåkingEt overvåkingspanel
- KundestøtteEn felles innboks
- UtviklersakerEn sakskø
- KommunikasjonChattråder
- UtrullingCI-logger
- KunnskapEn wiki
Seks steder, ingen felles eier
Med OpsCommand: én registrering
INC-1042 · Kortbetalinger får tidsavbrudd
- VarselBrukerreisen i kassen feilet tre ganger
- KundemeldingVia støttewidgeten
- UtviklersakGitHub #412, koblet
- BeslutningLagt ut i Microsoft Teams
- UtrullingProduksjon · utrulling #2051
- KunnskapKjent feil, bekreftet
Én registrering, en eier i hvert ledd
Slik gjør OpsCommand det
- Én driftsregistrering.
- Én ansvarlig arbeidsflyt.
- Ett samkjørt team.
Hver tjeneste, hvert signal, hver melding og hver retting har sin plass i én registrering, med en ansvarlig i hvert ledd. OpsCommand kobles til verktøyene teamene allerede bruker — GitHub, GitLab, Jira, Slack, Microsoft Teams, OpenTelemetry — i stedet for å erstatte dem.
Livsløpet
Åtte steg. Ingen mister tråden.
- AutomatiskOpsCommand gjør det, og registrerer det.
- ForeslåttForeslått med kilder, for en person å vurdere. Av til organisasjonen slår på KI.
- En person avgjørIngenting skjer før noen med riktig rolle godkjenner.
- 01
Oppdagelse
Kontroller, livstegn, varslingsregler og tjenestenes egne feil gir et signal. Gjentakelser samles; et kritisk varsel åpner en hendelse.
RegistreresDet første varselet, tidspunktet og kilden
- 02
Undersøkelse
Alt som hører sammen samles i hendelsen: andre varsler, kundemeldinger, siste utrullinger og tjenestens avhengigheter. Lignende tidligere hendelser foreslås.
RegistreresKoblede varsler, meldinger og endringer
- 03
Koordinering
Teamet som eier tjenesten varsles etter eskaleringsregelen til noen kvitterer. Kundene informeres på statussiden; hendelsen har en eier fra første minutt.
RegistreresHvem som ble varslet, hvem som kvitterte, hva kundene fikk vite
- 04
Overlevering til utvikling
En person overleverer feilen til utvikling med bevisene vedlagt. KI kan lage et utkast; en person sender det.
RegistreresOverleveringen, bevisene og den koblede saken
- 05
Retting
Utviklerne retter årsaken. Godkjente gjenopprettingsprosedyrer kjøres bare etter at en person med godkjennerrollen sier ja, aldri den som ba om det.
RegistreresRettingen, pull requesten og hver godkjenning
- 06
Utrulling
Leveransekjeden deres melder utrullingen; OpsCommand kobler den til hendelsen den retter, via GitHub, GitLab eller utrullings-API-et.
RegistreresUtrullingen og koden som gikk ut
- 07
Bekreftelse
Rettingen teller når tjenestens egne kontroller består i produksjon. Det kan kreves at en annen person bekrefter før hendelsen lukkes.
RegistreresKontrollene som besto, og hvem som bekreftet
- 08
Læring
En kort gjennomgang registrerer årsaken og tiltakene. Det dere lærte blir en kunnskapsartikkel og bedre varsler, så samme feil fanges tidligere.
RegistreresGjennomgangen, tiltakene og artikkelen
Slik virker det
Inne i én hendelse
Illustrasjon, eksempeldata
01
Oppdag tidlig
Alle tjenester kontrolleres utenfra, og tjenestenes egne signaler følges. Svartiden på Betalings-API-et passerte grensen kl. 13:58; den første kunden skrev kl. 14:09.
Slik virker oppdagelsenSvartid, Betalings-API
2,4 s
p95 · siste 24 t
Varsel ved 2 s
14:40 i gårNå
02
Koordiner raskt
Teamet som eier tjenesten varsles, kvitterer og jobber fra én registrering, og kundene informeres fra samme sted. Når KI er slått på, foreslår den lignende hendelser med bevis; et menneske avgjør.
Slik virker koordineringen- VarselKassekontrollen feiler
- ÅpnetKritisk, fra 12 grupperte varsler
- VarsletPlattformteamet på vakt
- Kvittert2 min etter varsling
- Kunder informertStatussiden oppdatert
03
Bekreft hver retting
Rettingen kobles til utrullingen som gjorde den, og hendelsen lukkes først når tjenestens egne kontroller består og en annen person bekrefter.
Slik virker bekreftelsen- Retting rullet utPR #412 → utrulling #2051
- Kontrollene bestårAlle kontroller, kassen inkludert
- BekreftetGodkjent av en annen person
Løst på 1 t 18 min, hvert steg dokumentert
Mens det skjer
Én skjerm for alle i rommet.
Kommandotavlen samler hendelsen, tidslinjen, påvirkningen og folkene.
Illustrasjon, eksempeldata
01Ledelsesinnsikt
Ytelse
24 t7 dager30 dagerTilgjengelighet
99,86 %
30 dager · alle tjenester
Mål 99,9 %
30 d sidenI dag
Svartid, Betalings-API
2,4 s
p95 · siste 24 t
Varsel ved 2 s
14:40 i gårNå
Hendelser
26
Per uke · 8 uker
Denne uken
8 uker sidenDenne uken
Respons og løsning
4 min · 2 t 41 min
Til bekreftet mottak · til løst
MottakLøsning
8 uker sidenDenne uken
Feilbudsjett
64 % igjen
Kasse · denne måneden
I dette tempoet: tomt om 9 dager
1. nov30. nov
02Hendelsesledelse
Hendelsesledelse
3 aktiveINC-1042 · håndtering så langt
- VarselKassekontrollen feiler
- ÅpnetKritisk, fra 12 grupperte varsler
- VarsletPlattformteamet på vakt
- Kvittert2 min etter varsling
- Kunder informertStatussiden oppdatert
- KI-forslagVenter på et menneske
- Vakt
- PlattformteametBekreftet 14:08 · 2 min
- Kunder
- StatussideOppdatert 14:09
- Koblet
- 12 kundemeldinger1 relatert hendelse
Driftsinnsikt
Foreslått av KIINC-1042 · Kortbetalinger får tidsavbrudd
Mest sannsynlige forklaring
Tilkoblingspoolen mot databasen er brukt opp på Betalings-API-et etter utrulling #2049.
Lignende hendelser
- INC-0987Poolen brukt opp etter en konfigurasjonsendringLøst på 46 minSterk likhet
- INC-0911Tidsavbrudd i betalinger under en trafikktoppLøst på 2 t 05 minDelvis likhet
Bevis
- UtrullingUtrulling #2049 · poolstørrelse 50 → 20 kl. 13:40
- Målingp95-svartid over 2 s siden 13:58
- Logger«connection timeout» på alle instanser siden 13:41
Anbefalte undersøkelser
- Sammenlign poolinnstillingene før og etter utrulling #2049
- Kontroller åpne databasetilkoblinger mot grensen
- Følg rutinen for tilkoblingspool fra INC-0987
03Systeminnsikt
Tjenestehelse
Avhengigheter og påvirkning- KundenettstedRedusert
- MobilappRetting bekreftes
- Betalings-APIUtfall
- BookingtjenesteI drift
- IdentitetI drift
- DatainfrastrukturTilkoblinger fulle
Påvirkningen sprer seg fra Betalings-API-et til kassen på kundenettstedet.
- I drift
- Redusert
- Utfall
- Påvirkning
Hendelsesstrøm
I dag- BekreftetINC-1041Bookingbekreftelser: kontrollene er grønne, bekreftet av en annen person, lukket
- UtrullingINC-1039Utrulling #2048 til mobilappen: retting av innlogging, venter på bekreftelse
- UtrullingUtrulling #2049 til Betalings-API-et: størrelsen på tilkoblingspoolen endret
- VarselBetalings-API p95-svartid over 2 s · 12 varsler gruppert
- VarselBrukerreisen i kassen feilet · tre ganger på fem minutter
- HendelseINC-1042Åpnet som kritisk fra de grupperte varslene
- VaktINC-1042Plattformteamet varslet · bekreftet mottatt 14:08
- KunderINC-1042Statussiden oppdatert for kundene
- HendelseINC-1043Åpnet som alvorlig, koblet til INC-1042
- KIINC-1042Forslag klart: ligner INC-0987 · venter på et menneske
I produktet
Hendelseshåndtering, slik det er i dag.

Se OpsCommand på deres egne tjenester.
En 45 minutters gjennomgang med folkene som drifter tjenestene deres: én hendelse, fra første varsel til bekreftet retting.
