网络爬虫又被称为爬虫，网络机器人，在FOAF社区中间，更经常的称为网页追逐者是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本主要用于搜索引擎，它将一个网站的所有内容与链接进行阅读，并建立相关的全文索引。
网络爬虫，又被称为网页蜘蛛网络机器人，在FOAF社区中间，更经常地被称为网页追逐者网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在。
网络爬虫是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫做法传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中。
爬虫其实是一门计算机中的技术，它被广泛应用于搜索引擎网络爬虫又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本主要作用是1。
