楼上说(shuo)的很多,我补充(chong)一下,正(zheng)确的应该叫(jiao)网(wang)络(luo)蜘(zhi)蛛,又称爬虫,本质是搜索引擎派出的一个执行抓取任务的程序(xu)蜘蛛(zhu)池的本质是大量(liang)的(de)网站(zhan)互相链接(jie),每个站单(dan)独(du)产生大量(liang)的(de)内(nei)容吸(xi)引蜘(zhi)蛛来爬,几千个(ge)网站(zhan)互链时(shi),可以想象蜘(zhi)蛛的链接(jie)
Copyright © 2023-2024