De sleutel tot een zoekmachine het succes ligt in speciale programma's zogenaamde "spiders" - geautomatiseerde virtuele robots - die voortbouwen lijsten van woorden die gevonden kunnen worden op een webpagina of website. Ze worden meestal verstuurd vanaf een centrale computer en gericht op populaire websites en servers die ervaring zwaar gebruik. De spiders doorzoeken via het web pagina, catalogiseren de woorden en links (en na deze links naar andere websites), en vervolgens het maken van een index of een lijst van "belangrijke zoek woorden" dat de online gebruikers kunnen gebruiken om de pagina's they.re zoekt .
In de loop der jaren, zoekmachines zijn modernisering en verbetering van hun systemen om te voorzien in meer comfort en snellere responstijden voor hun gebruikers. Een dergelijk systeem is het gebruik van 'meta-tags "- de belangrijkste woorden op een webpagina die een pagina makkelijker voor een spin te lokaliseren en te indexeren.
Zodra het spinnen zijn de gegevens heeft verzameld, zijn verwerkt en opgeslagen door de zoekmachine op een manier die maakt het eenvoudig voor mensen om toegang te krijgen tot hen.
Het zou eenvoudig te slaan simpelweg het woord en URL-adres in een doorzoekbare database, maar er is geen manier waarop een gebruiker, bij het zien van de kale botten informatie zou weten welke pagina is belangrijker, of past in de zoektocht die hij heeft in het achterhoofd.
Bijvoorbeeld, een kan worden gezocht voor "appelen" te vinden appels voor appeltaart te maken of een foto van appels. Als de database waren gewoon lijst "appelen" en hun URL, je zou moeten doen van zijn eigen vervelend het zoeken naar de specifieke context van het woord hij zoekt.
Om deze reden hebben de meeste zoekmachines indexeren en verzamelen meer dan alleen maar woorden en URL-adressen: zij mogen index woorden die op bepaalde plaatsen op de pagina (van de titel en ondertitel gebieden, bijvoorbeeld), meta-tags, de frequentie van woorden op de pagina, enz.
Google en andere zoekmachines zijn in een constante race naar het verbeteren van hun zoekmogelijkheden zoals concept gebaseerde zoeken die gebruik maakt van statistische analyse op pagina's met de woorden: men zoekt om zo te kunnen vaststellen andere pagina's van belang. Een andere benadering is natuurlijke taal zoekopdrachten wanneer een input vragen op dezelfde manier praat hij met mensen - "Wat is een zoekmachine?" bijvoorbeeld.
De meest populaire zoekmachine met behulp van natuurlijke taal zoekopdrachten is AskJeeves.com, die "zoomt in op de belangrijkste woorden (bv. Wat, zoekmachine) en gebruikt deze als uitgangspunt voor de controle door middel van de index van woorden.