Skip to content

AI crawlere har ikke tilgang til nettsiden din lenger. Hva blir fremtiden for SEO?

I flere tiår har søkemotoroptimalisering (SEO) vært selve motoren bak digital synlighet. AI crawler_SEO

Optimalisering for Googlebot, riktig bruk av metadata og lenkestrukturer – og ikke minst jakten på en plassering på førstesiden – har vært fundamentet for hvordan innhold ble funnet, lest og omsatt til inntekter. Men nå er spillereglene i ferd med å skrives om. Ikke av Google, men av kunstig intelligens.

Vi er i ferd med å gå fra søkeord til samtaler. Der SEO tidligere handlet om nøkkelord og algoritmer, handler fremtidens synlighet om semantikk, kontekst og samtalemønstre. AI-baserte assistenter som ChatGPT, Copilot og Perplexity er i ferd med å bli nye inngangsporter til informasjon. De henter, oppsummerer og leverer svar direkte til brukeren – uten at brukeren klikker seg videre til kilden. Det er som om bibliotekaren ikke lenger sender deg til bokhyllen, men leser opp boken der og da. Spørsmålet er: Hva skjer med forfatteren som skrev boken?

Resultatet er like entydig som det er skremmende: Trafikkmodellen som har holdt liv i publisister i to tiår er truet.

Hva er problemet?

Google har lenge operert med et økosystem der én bruker ble sendt inn for hver andre gang søkemotoren besøkte siden din. Litt grovt regnet og forenklet, men dette regnestykket har vært stabilt i omtrent ti år. Ti år er en evighet i teknologisammenheng, og det sier noe om hvor bærekraftig denne modellen har vært for Googles datainnsamling.

Men fra januar 2025 og et halvt år fremover økte antallet besøk per bruker til 1 500.
Årsaken? En eksplosjon i antall AI-baserte crawlere, mer komplekse søk og en endret måte å bruke søkemotorer på. Konsekvensene er betydelige. Miljømessig krever dette langt mer ressurser enn tidligere, og det rammer særlig mindre nettsteder som risikerer å måtte kjøpe mer serverkapasitet for å holde sidene oppe.

Tall fra publisister viser en dramatisk ubalanse: AI-crawlere henter innhold tusenvis av ganger oftere enn de sender trafikk tilbake. Der Google og Bing tradisjonelt har fungert som trafikkmotorer, oppfører AI seg mer som en svamp. For publisister betyr dette tapte annonseinntekter. For merkevarer og netthandelsaktører betyr det nye utfordringer – men også nye muligheter.

Man kan se det slik: Søkemotorene var motorveien som sendte kunder til butikken din. Nå har AI gjort det om til en rørledning som suger ut produktene dine og deler dem ut andre steder.

Hva skjer egentlig?

Det som er problematisk er at brukerne ikke lenger finner nettsiden din. Resultatene fra generativ AI bygger på utvalgte segmenter fra tekst eller multimodalt innhold. Disse brukes til å lage et generert svar på søket, prompten eller spørsmålet ditt – en sammensetning av tidligere skrevet innhold, basert på et regnestykke som forsøker å forutsi hva du forventer å lese. En sentral del av denne prosessen kalles chunking – eller "chunkifikasjon", som noen har begynt å kalle det. Det beskriver hvordan større tekstsegmenter deles opp i mindre biter. I praksis er store deler av svarene du får fra generativ AI et resultat av denne prosessen.

Er dette slutten på internett slik vi kjenner det?

Cloudflare mener nei – men advarer mot at forretningsmodellen bak søk er i ferd med å fragmenteres. Cloudflare, som allerede er en av internettets viktigste infrastrukturaktører, har begynt å blokkere AI-crawlere som standard. De tillater nå kun crawling fra roboter mot betaling. Når Cloudflare oppdager at en AI-crawler forsøker å besøke siden din, svarer den med en 402-kode: "betaling kreves". I august 2025 meldte Cloudflare at de sender ut over én milliard slike koder daglig.

Dette minner sterkt om musikkindustriens overgang fra Napster til Spotify – fra vill vest og gratis kopiering til kontrollert distribusjon via plattformer. Men husk: I Spotify-modellen var det plattformen som stakk av med den største gevinsten.

Vil Cloudflare og Microsoft gjøre det samme med innhold?

Finnes det en løsning?

Akkurat nå peker AutoRAG og NLWeb seg ut som mulige alternativer. AutoRAG, levert av Cloudflare, henter innhold og deler det opp i mindre biter – såkalte "chunks" – lagrer dem i en vektordatabasen og holder dem oppdatert. På denne måten blir innholdet lettere tilgjengelig for AI-agenter, uten at hele siden må splittes opp, og med tydeligere krav om kildehenvisning.
NLWeb lar nettsteder eksponere et /ask-endepunkt, der både mennesker og AI kan stille spørsmål og få svar direkte fra kilden. Med andre ord: publisister og merkevarer kan selv bestemme hva de deler, hvor mye og på hvilke betingelser.

Dette høres umiddelbart lovende ut, men det er viktig å skille mellom aktørene.
Publisister lever av trafikk. For dem kan AutoRAG og NLWeb være en potensiell redning – eller en ny form for innlåsing. Med disse verktøyene kan de gi AI akkurat nok innhold til at svaret blir relevant, samtidig som de kan kreve attribusjon eller betaling.

For merkevarer og netthandelsaktører er behovet annerledes. De er mindre avhengige av trafikk og mer opptatt av konvertering. For dem handler fremtiden kanskje ikke om AutoRAG, men om produktfeeds, API-er og merkevareautoritet. En AI-agent som fungerer som en personlig shopper vil velge produktene med best datakvalitet, mest konsistente signaler og sterkest merkevare. I denne fremtiden kjemper publisistene om å eie inngangen, mens merkevarene sørger for at de AI-ansatte i butikken plasserer varene deres fremst i hyllen.

SEO ikke er død – den muterer.

Vi beveger oss fra søkeord til samtaler, fra metadata til strukturert data, fra sidevisninger til AI-baserte visninger. For publisister betyr dette en fortsatt eksistensiell kamp om kontroll og inntekter. For merkevarer og netthandel betyr det en ny mulighet til å vinne i den digitale økonomien. Og for alle oss som jobber med annonseteknologi, søkemotoroptimalisering og markedsføringsteknologi er konklusjonen klar:

Vi må bygge systemer for en verden der AI er mellommannen.

Vil du vite mer? Ta kontakt med Marie for en hyggelig prat, senior SEO-rådgiver i Knowit.