Het is weer raak bij Google. OSINT-onderzoekers merken al langer dat zoekfunctionaliteiten en operators veranderen of minder voorspelbaar werken. Nu voert Google opnieuw een wijziging door die invloed kan hebben op onze onderzoeksworkflows: de daadwerkelijke URL achter een zoekresultaat wordt in steeds meer gevallen vervangen door een link naar een server van Google.
Voorheen werd er in een zoekresultaat rechtstreeks een URL zoals onderstaande getoond:
Nu staat er echter achter hetzelfde zoekresultaat een URL die begint met:
Wanneer je op het zoekresultaat klikt, merk je daar als gebruiker weinig van. Google stuurt je automatisch door naar de betreffende website. Voor OSINT-onderzoekers die zoekresultaten geautomatiseerd verzamelen of verwerken, ligt dat anders.
Waarom doet Google dit?
Roundtable schreef eind augustus over de nieuwe /goto-URL’s. Volgens de website lijkt de wijziging onder meer bedoeld om het geautomatiseerd scrapen van Google-zoekresultaten moeilijker te maken. Google bevestigt die specifieke reden niet, maar laat in een reactie aan Search Engine Roundtable wel weten:
“We have a long history of deploying technical measures against evolving forms of abuse, and we regularly take steps to protect our services and users.”
De wijziging zorgt er in ieder geval voor dat het lastiger wordt om de daadwerkelijke bestemmings-URL rechtstreeks uit een zoekresultaat te halen. De waarde achter goto?url= is namelijk niet simpelweg de URL van de gevonden website.
Waarom heeft dit invloed op OSINT-onderzoek?
Voor iemand die Google alleen gebruikt om handmatig te zoeken, lijkt er op het eerste gezicht weinig te veranderen. Je voert een zoekopdracht uit, klikt op een resultaat en komt op de betreffende website terecht. Voor OSINT-onderzoek kan de impact groter zijn.
Google wordt binnen OSINT niet alleen gebruikt om websites te bezoeken. Zoekresultaten kunnen bijvoorbeeld worden gebruikt om grote aantallen pagina’s, documenten of profielen te identificeren. Denk aan een onderzoek waarbij je met een zoekopdracht als site:linkedin.com/in “bedrijfsnaam” LinkedIn-profielen van medewerkers van een organisatie probeert te vinden.
Wanneer je tientallen of honderden resultaten wilt verwerken, kan het handig zijn om de URL’s uit de zoekresultaten te verzamelen en vervolgens verder te analyseren. Juist daar ontstaat een probleem. In plaats van de daadwerkelijke URL krijg je mogelijk eerst een google.com/goto-URL terug.
Een scraper of ander geautomatiseerd hulpmiddel kan daardoor niet meer in alle gevallen simpelweg de links uit de zoekresultaten halen. Er is een extra stap nodig om te achterhalen waar de Google-link uiteindelijk naartoe verwijst.