AI-søgning · Teknisk SEO
Derfor klarer dit website sig i Google, men er usynligt for AI
Dit website kan placere sig godt i Google, få grønne markeringer i SEO-værktøjer og alligevel være næsten usynligt for AI-søgning og AI-agenter. ChatGPT, Claude, Perplexity og Gemini ser ikke nettet på samme måde som Google. I denne artikel gennemgår vi tre grunde til, at AI ikke ser din side, hvordan du selv tester det, og derfor er serverens færdige HTML løsningen på problemet.
Kort fortalt: hvis dit vigtige indhold (overskrifter, tekster, priser, Schema-data) først indlæses i browseren med JavaScript, ser mange AI-bots en tom side. Det samme gælder, når en firewall eller et CDN blokerer AI-botten. Dit SEO-værktøj fortæller dig ikke nødvendigvis noget om det.
Google og AI-søgning læser nettet på hver sin måde. Googlebot renderer JavaScript og kommer som regel gennem firewalls. De fleste AI-bots kører ikke JavaScript, men læser kun den rå HTML, serveren returnerer, og de kan blive blokeret allerede i firewallen eller CDN'et.
Derfor kan et website klare sig i Google, men forblive usynligt for AI. Almindelige SEO-værktøjer bemærker ikke dette, fordi de hovedsageligt læser robots.txt-filen og ikke det indhold, der faktisk serveres til bots.
Løsningen er, at det kritiske indhold og Schema-dataene er færdige i den HTML, serveren returnerer (SSR eller en statisk side), og at AI-bots ikke er blokeret. Novavalo producerer netop denne slags statisk HTML, så sider bygget med Novavalo er synlige for både Google og AI.
Forskellige bots til forskellige formål
AI-virksomhederne har ikke én bot, men flere separate bots til hver sin opgave: én indsamler materiale til modellens træning, en anden bygger et søgeindeks, og en tredje henter siden netop i det øjeblik, brugeren beder om det. Dit website kan komme til at tillade den ene og blokere den anden uden at opdage det.
For eksempel kører både OpenAI og Anthropic hver flere bots. Hos OpenAI indsamler GPTBot træningsdata, OAI-SearchBot bygger søgeresultater og ChatGPT-User henter siden ud fra brugerens realtidsforespørgsel. Hos Anthropic indsamler ClaudeBot tilsvarende materiale, Claude-SearchBot tjekker sider til søgning og Claude-User henter siden, når nogen spørger Claude om noget fra den pågældende adresse.
Google er undtagelsen her. Google har ikke en separat AI-bot på samme måde, men den traditionelle Googlebot klarer for en stor del også baggrundsarbejdet for AI Overview-resultater og AI-funktioner. Derfor fungerer det, der virker for Google, ikke automatisk for andre AI-aktører: Google er allerede inde, mens de separate AI-bots skal lukkes ind hver for sig og skal kunne læse siden.
Firewalls og CDN'er blokerer bots før robots.txt
Et sikkerhedslag som Cloudflare, en WAF-firewall eller webhotellets blokeringsindstillinger kan afvise AI-botten allerede på IP-niveau, før botten overhovedet når at læse robots.txt-filen. Så får botten slet ikke siden, uanset hvor godt dit indhold er.
Mange CDN- og sikkerhedstjenester er begyndt at blokere kendte AI-bots som standard eller med et enkelt klik. Det kan være et bevidst valg, men ofte er det blevet aktiveret ved en fejl eller sat op af en anden. Resultatet er, at menneskelige besøgende og Googlebot kommer ind på siden, mens for eksempel ClaudeBot får en blokering som svar.
I et reelt eksempel kom ChatGPT ind på et website, mens Anthropics Claude var blokeret i serverens firewall. For brugeren viser det sig ved, at den ene AI-assistent kan fortælle om virksomheden, mens den anden ikke finder noget om den. Et almindeligt SEO-værktøj afslører ikke problemet, fordi det kun læser robots.txt-filen, hvor blokeringen ikke fremgår: blokeringen sker på netværksniveau meget tidligere.
Robots.txt holder ikke altid
Et andet overraskende forhold er, at robots.txt ikke er bindende for alle bots. Bots, der agerer på brugerens forespørgsel, ignorerer ofte forbuddene. OpenAI har selv konstateret, at fordi en ChatGPT-User-forespørgsel udløses af et menneske, gælder robots.txt-reglerne ikke nødvendigvis for den.
Det er ikke bare teori. Ifølge branchens undersøgelser nåede ChatGPT-User ind på omkring halvdelen af de europæiske websites, der udtrykkeligt havde blokeret den i robots.txt-filen. Den praktiske lære er dobbelt: du kan ikke stole på, at robots.txt blokerer realtidsagenter, og du kan heller ikke antage, at en blot tilladelse i robots.txt er nok til at gøre din side synlig for AI. Synligheden afgøres først af, om botten kommer ind på siden, og om den kan læse indholdet.
JavaScript og rendering: den vigtigste tekniske pointe
Googlebot kan køre og rendere JavaScript, men de fleste AI-bots kører slet ikke JavaScript. De læser kun den HTML, serveren returnerer. Hvis vigtigt indhold først bringes ind i browseren med JavaScript, ser AI-botten i praksis en tom side.
Dette er artiklens vigtigste tekniske observation. Ifølge den omfattende undersøgelse fra Vercel og MERJ (december 2024) kørte GPTBot, OAI-SearchBot, ClaudeBot og PerplexityBot ikke JavaScript. De kan hente JavaScript-filerne (som en del af de hentede data), men kører dem ikke, så indhold, der tilføjes senere med kode, forbliver skjult for dem. Googlebot og visse browserbaserede agenter er undtagelser, der renderer siden.
I praksis opstår problemet, når siden bygges med et tungt client-side-framework, eller når priser, produktoplysninger, tekster eller Schema-data først injiceres på siden via Google Tag Manager eller et andet script. For et menneske og for Google ser siden færdig ud, men for AI-botten er det skelet, serveren returnerer, næsten tomt. Løsningen er, at indholdet er færdigt i den HTML, serveren genererer, enten serverrenderet (SSR) eller som en statisk side.
Sidens skelet er en næsten tom <div id="root"></div>, og overskrifter, tekster og priser dukker først op, når browseren kører JavaScript. AI-botten læser kun det tomme skelet.
H1-overskriften, brødteksterne, priserne og application/ld+json er direkte i den HTML, serveren returnerer. Botten ser det samme indhold som et menneske, uden JavaScript.
Hvordan tester du, om AI ser din side?
Du har ikke brug for specialværktøjer. Med tre tjek ser du hurtigt, om AI ser din sides indhold.
Tre måder at teste synligheden for AI
- Tjek kildekoden. Åbn Vis sidekilde (View Source) i browseren, ikke DevTools' DOM-visning. Find ud af, om H1-overskriften, brødteksterne, priserne og
application/ld+jsonfindes direkte i HTML'en. Mangler de i kildekoden, mangler de også for AI-botten. - Spørg modellerne direkte. Bed ChatGPT, Claude og Perplexity om i realtid at hente oplysninger direkte fra din sides adresse. Se, om de får indholdet eller ej. Hvis en model ikke finder noget, er der en blokering eller et renderingsproblem.
- Se i server- og CDN-logfilerne. Tjek i serverens logfiler og i CDN'ets kontrolpanel (for eksempel Cloudflares AI-visning), om AI-bots får svaret 200 OK eller blokeringer som 403 eller 429. En blokeringskode fortæller, at botten afvises allerede på netværksniveau.
Er der brug for llms.txt og nye mirakelfiler?
Nye separate filer som llms.txt er ikke nødvendigvis nødvendige. De store AI-aktører har ikke forpligtet sig til dem, og en enkelt fil retter ikke op på, at botten ikke kommer ind på siden, eller at den ikke ser indholdet. Omkring 80 procent af almindelig SEO gælder stadig.
Med andre ord holder grundprincipperne fortsat: teknisk tilgængelighed, en klar sidestruktur, fornuftig intern linkning og troværdighed (E-E-A-T, altså erfaring, ekspertise, autoritet og troværdighed). Den største ændring i AI-alderen er, at sidens kritiske indhold og Schema-data skal kunne læses direkte i HTML'en uden JavaScript kørt af browseren, og at bots skal lukkes ind på siden. Når det er i orden, er separate mirakelfiler højst finjustering.
| Faktor | Googlebot | De fleste AI-bots |
|---|---|---|
| Kører JavaScript | Ja, renderer siden | Nej, læser kun serverens HTML |
| Kommer oftest gennem firewallen | Som regel ja | Ofte blokeret på IP- eller CDN-niveau |
| Følger robots.txt | Ja | Varierer, en brugerforespørgsel ignorerer ofte |
| Ser kun indhold indlæst med JS | Ja (efter rendering) | Ser det ikke |
Sådan løser Novavalo dette
De ovenfor beskrevne problemer skyldes i vid udstrækning, hvordan websitet er bygget teknisk. Novavalos tilgang fjerner dem fra start, fordi siderne produceres færdige på serveren.
Sider, der er synlige for både Google og AI
Novavalo producerer færdigbygget statisk HTML på serveren, som AI-bots kan læse:
- Indholdet er færdigt i HTML'en. Overskrifter, tekster, priser og Schema-data er med allerede i serverens svar, ikke først bag JavaScript.
- Ingen unødvendige bot-blokeringer. Siderne leveres via et hurtigt CDN, så AI-bots kommer ind, ligesom Google gør.
- Struktureret data automatisk. Til hver side produceres den rette Schema-markering, som AI kan læse og citere.
- Test af GEO/AEO-synlighed. Du kan i et klart sprog tjekke, hvordan AI-søgning ser din virksomhed, og få forslag til rettelser.
Ofte stillede spørgsmål
Hvorfor vises mit website i Google, men ikke i AI-søgning?
Googlebot renderer JavaScript, og ofte lukker firewalls den også igennem, så Google ser siden. De fleste AI-bots kører ikke JavaScript, men læser kun den rå HTML, som serveren returnerer, og de kan blive blokeret i firewallen eller CDN'et, allerede inden siden læses. Hvis indholdet først opstår i browseren, eller botten er blokeret, ser AI'en en tom side.
Kører AI-bots JavaScript?
For det meste ikke. Ifølge en omfattende undersøgelse kører GPTBot, OAI-SearchBot, ClaudeBot og PerplexityBot ikke JavaScript, men læser kun den HTML, serveren returnerer. De kan hente JS-filerne, men kører dem ikke. Googlebot er en undtagelse, fordi den renderer JavaScript.
Hvorfor viser SEO-værktøjet grønt, selvom AI ikke ser siden?
Almindelige SEO-værktøjer tjekker ofte kun robots.txt-filen og indekserbarheden. De bemærker ikke, hvis en firewall eller et CDN blokerer AI-botten på IP-niveau, og heller ikke, at kritisk indhold først indlæses med JavaScript. Derfor kan værktøjet vise, at alt er i orden, selvom siden for AI-botten er tom eller blokeret.
Hvordan tester jeg, om AI ser min side?
Åbn sidens kildekode (Vis sidekilde) og tjek, om H1-overskriften, brødteksterne, priserne og application/ld+json-schemaet findes direkte i HTML'en. Bed derefter ChatGPT, Claude eller Perplexity om at hente oplysninger direkte fra din sides adresse, og se, om det lykkes. Tjek til sidst i serverens eller CDN'ets logfiler, om AI-bots får svaret 200 OK eller blokeringer som 403 eller 429.
Har jeg brug for en llms.txt-fil?
Ikke nødvendigvis. De store AI-aktører har ikke forpligtet sig til llms.txt, og den erstatter ikke grundprincipperne. Omkring 80 procent af almindelig SEO gælder stadig: tilgængelighed, klar struktur, intern linkning og troværdighed (E-E-A-T). Den vigtigste ændring er, at kritisk indhold og Schema-data skal kunne læses direkte i HTML'en uden JavaScript.
Er Novavalos sider synlige for AI?
Ja. Novavalo producerer færdigbygget statisk HTML på serveren, hvor overskrifter, tekster, priser og Schema-data er med uden JavaScript-afhængighed. Siderne leveres via et hurtigt CDN uden IP-blokeringer af AI-bots, så AI-botten ser det samme indhold som et menneske.
Bliv også synlig i AI-søgning
Lad den kunstige intelligens bygge et website til din virksomhed, hvor indholdet er færdigt i serverens HTML, og som både Google og AI-søgning ser. Du ser resultatet på få minutter.
Kom gratis i gang →Gennemsigtighedsnote: Denne artikel er produceret med hjælp fra kunstig intelligens, og Novavalos redaktion står inde for indholdet. Artiklen er generel information om AI-søgning og teknisk SEO. Bots og deres praksis ændrer sig hurtigt, så tjek de aktuelle oplysninger i de officielle kilder nedenfor.