xiuno4 搜索引擎蜘蛛爬行记录插件,方便新站查看蜘蛛爬取收录情况 功能增强

666666 23天前 637


xiuno4 搜索引擎蜘蛛爬行记录插件,方便自己查看蜘蛛爬行了哪个网页。


以前xiuno好像有这个插件的,不知道是不是作者删掉了,我改了一下分享出来。


支持识别google 、yahoo、bing 、百度 、360、搜狗、神马等主流搜索引擎的蜘蛛。


蜘蛛的爬取记录保存在  /upload/bot.txt


适合新站安装使用,主要看蜘蛛来没来过网站,爬了哪些网页。


上传的附件:
最新回复 (1)
返回
HTTP/1.1 502 Bad Gateway Content-Type: text/html Connection: close Content-Length: 297 Date: Wed, 24 Jan 2018 01:51:27 GMT X-Via: 1.1 tianyi-124 (random:70709 Fikker/Webcache/3.7.4) 502 Bad Gateway

502 Bad Gateway - Cann't Connect To Upstream Server By SSL Read

Server: tianyi-124
Date: 2018-01-24 01:51:27

Fikker/Webcache/3.7.4