Gå til innholdet

Slik virker det

Fra det første signalet til en bekreftet retting.

Åtte steg, én registrering. Hvert steg sier tydelig om OpsCommand gjør det, foreslår det, eller venter på at en person bestemmer.

Problemet

Spredte verktøy. Tregere løsning.

Overvåking i ett verktøy, klager i en innboks, saker i et annet system, beslutninger i chat. Hvert av dem har en del av sannheten; ingen har hele bildet.

I dag: spredt

  • OvervåkingEt overvåkingspanel
  • KundestøtteEn felles innboks
  • UtviklersakerEn sakskø
  • KommunikasjonChattråder
  • UtrullingCI-logger
  • KunnskapEn wiki

Seks steder, ingen felles eier

Med OpsCommand: én registrering

INC-1042 · Kortbetalinger får tidsavbrudd

  • VarselBrukerreisen i kassen feilet tre ganger
  • KundemeldingVia støttewidgeten
  • UtviklersakGitHub #412, koblet
  • BeslutningLagt ut i Microsoft Teams
  • UtrullingProduksjon · utrulling #2051
  • KunnskapKjent feil, bekreftet

Én registrering, en eier i hvert ledd

Slik gjør OpsCommand det

  • Én driftsregistrering.
  • Én ansvarlig arbeidsflyt.
  • Ett samkjørt team.

Hver tjeneste, hvert signal, hver melding og hver retting har sin plass i én registrering, med en ansvarlig i hvert ledd. OpsCommand kobles til verktøyene teamene allerede bruker — GitHub, GitLab, Jira, Slack, Microsoft Teams, OpenTelemetry — i stedet for å erstatte dem.

Livsløpet

Åtte steg. Ingen mister tråden.

  • AutomatiskOpsCommand gjør det, og registrerer det.
  • ForeslåttForeslått med kilder, for en person å vurdere. Av til organisasjonen slår på KI.
  • En person avgjørIngenting skjer før noen med riktig rolle godkjenner.
  1. 01

    Oppdagelse

    Automatisk

    Kontroller, livstegn, varslingsregler og tjenestenes egne feil gir et signal. Gjentakelser samles; et kritisk varsel åpner en hendelse.

    RegistreresDet første varselet, tidspunktet og kilden

  2. 02

    Undersøkelse

    AutomatiskKI kan foreslå

    Alt som hører sammen samles i hendelsen: andre varsler, kundemeldinger, siste utrullinger og tjenestens avhengigheter. Lignende tidligere hendelser foreslås.

    RegistreresKoblede varsler, meldinger og endringer

  3. 03

    Koordinering

    Automatisk

    Teamet som eier tjenesten varsles etter eskaleringsregelen til noen kvitterer. Kundene informeres på statussiden; hendelsen har en eier fra første minutt.

    RegistreresHvem som ble varslet, hvem som kvitterte, hva kundene fikk vite

  4. 04

    Overlevering til utvikling

    En person avgjørKI kan foreslå

    En person overleverer feilen til utvikling med bevisene vedlagt. KI kan lage et utkast; en person sender det.

    RegistreresOverleveringen, bevisene og den koblede saken

  5. 05

    Retting

    En person avgjør

    Utviklerne retter årsaken. Godkjente gjenopprettingsprosedyrer kjøres bare etter at en person med godkjennerrollen sier ja, aldri den som ba om det.

    RegistreresRettingen, pull requesten og hver godkjenning

  6. 06

    Utrulling

    Automatisk

    Leveransekjeden deres melder utrullingen; OpsCommand kobler den til hendelsen den retter, via GitHub, GitLab eller utrullings-API-et.

    RegistreresUtrullingen og koden som gikk ut

  7. 07

    Bekreftelse

    Automatisk

    Rettingen teller når tjenestens egne kontroller består i produksjon. Det kan kreves at en annen person bekrefter før hendelsen lukkes.

    RegistreresKontrollene som besto, og hvem som bekreftet

  8. 08

    Læring

    En person avgjørKI kan foreslå

    En kort gjennomgang registrerer årsaken og tiltakene. Det dere lærte blir en kunnskapsartikkel og bedre varsler, så samme feil fanges tidligere.

    RegistreresGjennomgangen, tiltakene og artikkelen

Slik virker det

Inne i én hendelse

Illustrasjon, eksempeldata

  1. 01

    Oppdag tidlig

    Alle tjenester kontrolleres utenfra, og tjenestenes egne signaler følges. Svartiden på Betalings-API-et passerte grensen kl. 13:58; den første kunden skrev kl. 14:09.

    Svartid, Betalings-API

    2,4 s

    p95 · siste 24 t

    Varsel ved 2 s

    14:40 i gårNå

    Slik virker oppdagelsen
  2. 02

    Koordiner raskt

    Teamet som eier tjenesten varsles, kvitterer og jobber fra én registrering, og kundene informeres fra samme sted. Når KI er slått på, foreslår den lignende hendelser med bevis; et menneske avgjør.

    1. VarselKassekontrollen feiler
    2. ÅpnetKritisk, fra 12 grupperte varsler
    3. VarsletPlattformteamet på vakt
    4. Kvittert2 min etter varsling
    5. Kunder informertStatussiden oppdatert
    Slik virker koordineringen
  3. 03

    Bekreft hver retting

    Rettingen kobles til utrullingen som gjorde den, og hendelsen lukkes først når tjenestens egne kontroller består og en annen person bekrefter.

    1. Retting rullet utPR #412 → utrulling #2051
    2. Kontrollene bestårAlle kontroller, kassen inkludert
    3. BekreftetGodkjent av en annen person

    Løst på 1 t 18 min, hvert steg dokumentert

    Slik virker bekreftelsen

Mens det skjer

Én skjerm for alle i rommet.

Kommandotavlen samler hendelsen, tidslinjen, påvirkningen og folkene.

Illustrasjon, eksempeldata

I produktet

Hendelseshåndtering, slik det er i dag.

Hendelseshåndtering i OpsCommand for en eksempelorganisasjon: de åpne hendelsene med alvorlighet, status, tjeneste og når hver ble oppdaget.
Eksempeldata, fra selve produktetHendelseshåndtering, slik den er i produktet i dag.

Se OpsCommand på deres egne tjenester.

En 45 minutters gjennomgang med folkene som drifter tjenestene deres: én hendelse, fra første varsel til bekreftet retting.