Ключевые элементы поисковой системы:

Spider (паук) – браузероподобная программа, скачивающая веб-страницы. Она работает без визуального интерфейса и обрабатывает чистый HTML.

Crawler (краулер, «путешествующий» паук) – выявляет все ссылки на странице и определяет следующий путь для паука. Поиск новых ресурсов осуществляется по найденным ссылкам.

Indexer (индексатор) – разбирает страницу, выделяя текст, заголовки, стили и специальные теги, чтобы построить внутренний индекс.

Database (база данных) – хранит скачанные и проанализированные страницы. Часто её называют индексом поисковой системы.

Search Engine Results Engine (система выдачи результатов) – отвечает за ранжирование страниц, определяя порядок их отображения согласно алгоритмам поиска. Именно с этим компонентом взаимодействует специалист по SEO, стремясь улучшить позиции сайта.

Web server (веб-сервер) – обеспечивает пользовательский интерфейс: выводит страницу с поисковым полем и отображает результаты поиска в виде HTML-страницы.

Различные реализации могут объединять несколько компонентов в одну программу, но все поисковые системы сохраняют эти общие черты.