Skrevet av Anne-Line Dahlen og Jørn Atle Husbyn. DataOps (Data Operations) er et relativt nytt begrep som har dukket opp i løpet av de siste årene og henter inspirasjon fra blant annet DevOps, Agile og Lean. Dette er en tankegang som skal gjøre datahåndtering i selskaper lettere, for å få verdi ut av store informasjonsmengder. Siden begrepet DataOps er såpass nytt finnes det heller ikke noen felles akseptert definisjon, men i denne bloggposten skal vi prøve å forklare hva DataOps er og dele våre tanker rundt temaet.
Tenk deg at Else er ansatt i datavarehusavdelingen i et selskap som jobber med mangfoldige og store datamengder. Hun skal finne ut hvilke kundesegmenter som behøver bedre oppfølging. Else har behov for telefondata og ser at dette ikke blir lastet inn da det er feil med dataintegrasjonen. Hun mangler tilgang til å rette den. I tillegg får hun ved enkle analyser bekreftet at kundedata hun innhenter er mangelfulle. For å gjennomgå manglene vil Else snakke med eieren av dataene, men hun sliter med å navigere seg frem til riktig person og å finne ut hvem som står ansvarlig for kvaliteten. Det er mange som jobber med data, men ingen som tar eierskap.
Overordnet erfarer Else at dataintegrasjon er en flaskehals i virksomheten og det er mange tidkrevende manuelle prosesser. Det brukes også mye tid på feilsøking og retting siden datakvaliteten ikke overvåkes og sjekkes. For at løsningen Else jobber med skal være pålitelig, er det viktig med et riktig datagrunnlag. Fra da Else startet datainnhentingen til hun nå sitter med en velfungerende dataflyt i produksjon, har det tatt unødvendig lang tid og det har vært mange problemer på veien.
For å dekke de ulike behovene med å sammenstille og bearbeide data på tvers av ulike systemer må man navigere i et komplekst datalandskap med mange komponenter, både tekniske og organisatoriske. Disse bør fungere godt sammen. Det innebærer alt fra å forstå ulike brukergrupperinger, få de riktige personene til å snakke sammen, avklare personvern, drift, overvåkning, og rett bruk av verktøy. Det er viktigere enn noen gang å få verdi ut av data og da kan DataOps-tankegangen være veien å gå. Tenk deg hvordan det kunne vært i stedet!
Et eksempel på hvordan teamet til Else kan se ut, med prosess for å kunne gjennomføre kundeoppfølging
Else starter som dataanalytiker, og blir en del av kundeoppfølgingsteamet. Teamet har personer med kompetanse på analyse, dataintegrasjoner, IT-drift og sikkerhet. Det er også personer med fagkunnskap innen oppfølging av kunder i teamet som er i tett kontakt med brukerne. Teamet står fritt til å velge hvordan de løser oppgaver og samarbeider tett med hverandre og andre team. Løsningene er fleksible og kan lett endres dersom behovene endrer seg. Eksperimenter og uttesting av hypoteser på produksjonsdata, er en prioritert oppgave da testmiljøet til enhver tid er en sann kopi av produksjon. Det er også satt opp et automatisk testrammeverk som overvåker datakvaliteten i dataflytene. Dette gjør at teamet plukker opp feil før brukerne oppdager dem og slipper mye manuell testing. Slik kan endringer produksjonsettes. Dette er DataOps i praksis.
Det finnes mange som har prøvd å lage en definisjon på DataOps. De fleste vektlegger at det er samspillet mellom mennesker, prosesser, organisasjon og verktøy for å håndtere data på best mulig måte. Definisjonen vi mener gir et godt bilde på DataOps kommer fra Gartner og er som følger:
«Samhandlende datahåndteringspraksis fokusert på å forbedre kommunikasjon, integrering og automatisering av datastrømmer mellom databehandlere og datakonsumenter på tvers av en organisasjon» – Gartner
Det er altså ikke selve teknologien og verktøyene som er det sentrale når man jobber med DataOps. Derimot er det viktig å ta innover seg hvordan data skal bli brukt av konsumentene, og mindre viktig hvor data oppstår. I tilsvarende artikkel trekker Gartner frem tre anbefalinger for å innføre DataOps i organisasjonen. Dette er også noe vi mener er gode prinsipper basert på vår prosjekterfaring:
Disse tre punktene muliggjør et samarbeid med et bredt spekter av mennesker i organisasjonen, og videre sørger de for leveranse av relevante løsninger med rett informasjon til rett tid.
I en undersøkelse (side 29) utført av Seagate Technologies, publisert i 2020, beskrives DataOps på tilsvarende måte som hos Gartner. Bedrifter sier seg enige i at DataOps er viktig, fordi en slik dataforvaltningsløsning øker kundetilfredshet, effektiviserer prosesser og gir økonomisk overskudd. Videre sier kun 10 % av bedriftene at de har innført DataOps i hele bedriften. Henholdsvis 21 % og 30 % sier at de har delvis innført eller er i startfasen av å innføre DataOps. Det kan være flere årsaker til en slik fordeling. For noen handler det om at DataOps er ukjent farvann, for andre er det krevende med de komplekse tekniske endringene som kreves, og sist men ikke minst er det et menneskelig aspekt knyttet til nytenkning og kulturendring.
Det er relevant å nevne at det finnes ulike metoder for innføring av DataOps. Hver bedrift må finne en løsning som er tilpasset sine behov. Løsningen bør avhenge av hvordan data har blitt brukt tidligere, og hvordan de skal brukes fremover. I rapporten fra Seagate Technologies tar de for seg flere barrierer og utfordringer som bedrifter står overfor nå, med økt databruk, utvidelser til flere skyplattformer og innføring av DataOps. Flere av våre konsulenter sitter med erfaring fra et bredt spekter av kunder og DataOps-reiser. Om du ønsker å lese mer om DataOps kan vi anbefale disse artiklene:
Relevante artikler som kan leses:
How DataOps Amplifies Data and Analytics Business Value
3 Ways to Deliver Customer Value Faster Using Dataops *
What is DataOps and how can it solve your data challenges?
DataOps is NOT just DevOps for Data
*Bak betalingsmur