楼(lou)上说的很多，我(wo)补充一下(xia)，正(zheng)确的应(ying)该叫网络蜘蛛，又(you)称爬(pa)虫，本质是搜索引(yin)擎派出(chu)的一个执行抓(zhua)取任务的程序蜘(zhi)蛛(zhu)池的本质是(shi)大量的(de)网站互相链接，每个站单独(du)产生大量(liang)的内(nei)容(rong)吸引蜘(zhi)蛛来爬(pa)，几千(qian)个(ge)网站互链时(shi)，可(ke)以想象蜘蛛的链接