首页 案例 开发 设计

MENU +

dynamic

新闻中心+

NEWS

行业媒体

蜘蛛耗尽服务器资源分析

当我们成都网站建设的网站刚上线后,都希望网站被尽快收录,于是会去吸引蜘蛛的到来,蜘蛛到来的频率过高有时候会导致iis资源耗尽,网站中时常数出现service unavoidable的提示,这个词的出现可以直接表现为访问量很小。

是蜘蛛的到来引起我们网站资源的缺乏,是蜘蛛耗尽服务器资源的,所以我们的解决办法就针对蜘蛛进行。利用robots.txt中的disallow屏蔽部分没有实际意义的内容。

格式如下:

user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/

说明:

user-agent:*:  *代表允许所有的搜索引擎来抓取数据。
disallow:/search.html:不允许收录/search.html这个文件的数据。
disallow:/index.php?:不允许收录以/index.php?为前缀的链接。
disallow:/tempweb/:不允许收录/tempweb/里所有的文件,但可以收录如:/tempwebtaim.html的链接。

川公网安备 51010702000823号