Googlebot kan geen toegang krijgen tot CSS- en JS-bestanden

Google Search Console melding

Vanmorgen kreeg ik een vraag van een relatie over een melding die ze had ontvangen vanuit Google webmaster tools. Daarin stond dat de Googlebot geen toegang had tot bepaalde CSS- en Javascript bestanden van haar website. Is dit erg? Moet ik er iets mee? Waar kan ik het aanpassen? Is dit een bug? Veel vragen dus in plaats van 1 vraag.

Google is continue bezig met het verbeteren en daarvoor wil Google toegang tot alle relevante informatie van je website. Hieronder vallen ook de CSS- en JS bestanden. De bestanden waar het over gaat kunnen in andere directory’s staan dan je template map en daardoor vanuit je Robots.txt geblokkeerd worden. Wil Google je website kunnen analyseren dan is toegang noodzakelijk. Omdat Google er niet bij kan is er vanuit Google Search Console massaal berichtgeving op gang gekomen naar de webmasters van sites om ze hierop te wijzen. Zodat je dit kunt aanpassen en waardoor Google er wel bij kan komen.

De boodschap van Google

De boodschap van Google spreekt de webmaster van de site aan en geeft aan dat Google je website niet goed kan weergeven en indexeren wat mogelijk van invloed kan zijn op de ranking van de site en kan leiden tot suboptimale posities. Prachtige boodschap maar wat moet je ermee.

Hoe kun je zien wat en waar

Door in te loggen in Google Search Console of te wel webmasterhulpprogramma van Google kun je achterhalen welke bestanden en url’s betrokken zijn bij de blokkering. Onder Google-index en dan Geblokkeerde bronnen vind je deze informatie terug. Door op de URL te klikken zie je vervolgens welke CSS- en JS bestanden geblokkeerd zijn.

Hoe los je het op, deblokkeer CSS- en JS bestanden voor Googlebot

Door je Robots.txt bestand aan te passen en ervoor te zorgen dat Google bij de desbetreffende bestanden kan komen en dus kan doorlopen. Gebruik je een bepaalde plugin in je website voor SEO dan kan het goed zijn dat je hier e.e.a. kunt instellen. We gaan er even vanuit dat je e.e.a. handmatig in je Robots.txt moet doorvoeren. Hoe doe je dat en waar moet je op letten.

Regels robots.txt met wat uitleg;

User-agent: *
Hiermee geef je aan dat alle spiders de website mogen crawlen

Disallow: /deze-map-niet-doorzoeken/
Hiermee geef je aan dat deze specifieke directory(map) niet doorzocht mag worden.

Allow: /deze-map-wel-doorzoeken/
Hiermee geef je aan dat deze specifieke directory(map) doorzocht mag worden.

Disallow: /deze-map-niet-doorzoeken
Hiermee geef je aan dat deze directory(map) en alles wat hier onder zit niet doorzocht mag worden.

Allow: /deze-map-wel-doorzoeken
Hiermee geef je aan dat deze directory(map) en alles wat hier onder zit doorzocht mag worden.

Je hebt je geblokkeerde mappen zichtbaar vanuit Google Search Console en weet dus waar je een Disallow of Allow op wilt hebben. Voeg de regels netjes toe of schakel er enkele uit zodat je kunt toetsen of het wel goed gaat. Dit toetsten doe je door Google je website te laten Fetchen.

Nu kan het zo zijn dat je niet zelf webmaster bent van je website in Joomla, WordPress of ander CMS en dat je niet weet hoe het met jouw website is gesteld. Neem dan bovenstaande informatie mee en deel dit met je webmaster. vraag hem of haar om dit te controleren en daar waar nodig aan te passen zodat Google je website optimaal kan scannen.