楼(lou)上说的很(hen)多,我(wo)补(bu)充(chong)一下,正(zheng)确(que)的应该叫网络蜘(zhi)蛛,又(you)称爬虫(chong),本质是搜索(suo)引(yin)擎派出的一个执行(hang)抓取任务的程(cheng)序蜘蛛池的本质是(shi)大(da)量的网站互相链接,每个(ge)站单独(du)产(chan)生大量的内容吸引(yin)蜘蛛来爬,几千(qian)个网站互(hu)链(lian)时,可(ke)以想象(xiang)蜘(zhi)蛛的链接
Copyright © 2023-2024