Wenn ein Web-User den Zugang zu einer Website anfordert, um die jeweilige Domain besuchen zu können, läuft diese Anfrage in der Regel über das Hypertext Transfer Protocol (kurz http) ab. Dieses ist für die Übertragung von Daten in Netzwerken zuständig, und von daher eines der elementarsten Konzepte des World Wide Webs. Das textbasierte, offene Protokoll definiert demensprechend die Kommunikation zwischen dem Webclient und dem Server. Es wird dabei in Anfrage (Request) vom Client, und Antwort (Response) von Server unterschieden.

Bei HTTP selbst wird keine der Konversationen zwischen Server und Client gespeichert, dies erfolgt letztendlich erst im jeweiligen Browser des Users. Falls bei der Übermittlung der Antwort in irgendeiner Form Fehler auftreten und die Response nicht übermittelt werden kann, kommt es stattdessen in der Regel zur Ausgabe eines dreistelligen Fehlercodes.

Der Crawler einer Suchmaschine ist beim Besuchen einer Website ebenfalls auf die Funktionsweise des Hypertext Transfer Protocols angewiesen, da sich dieser technisch gesehen wie ein normaler Internetuser verhält.