搜索引擎的基本思想是使用Web机器人(Robot)来漫游Internet，将Internet上分布的信息下载到引擎服务器。然后对网页进行分析并建立索引，对于用户提出的检索请求。搜索引擎通过索引找出匹配的文档或网站地址返回给用户：一般搜索引擎是通过以下环节来完成信息搜索的：
1)生成多个Robot，使各Robot根据初始超链接队列和一定的搜索策略，对网站遍历井下载网页。搜索引擎不断根据下载页面中新的超链接更新搜索队列。
2)分析器对由Robot搜集的网页进行分析，提取出表达网页的关键词、摘要等信息以及网页中的超链接。网页分析技术一般包括切词、过滤和转换等。这些技术往往与具体的语言以及系统的索引模型密切相关。
3)索引器把网页的分析结果按照一定结构存储在引擎数据库服务器中，同时建立便于查询的索引。
4)提供基于浏览器的查询请求输入界面，检索器根据用户提交的查询请求，在引擎数据库中检索出符合用户查询的记录，通过浏览器返回给用户。（福建省通信学会林锦贤）