xiuno4 搜索引擎蜘蛛爬行记录插件,方便新站查看蜘蛛爬取收录情况 功能增强

666666 3月前 871


xiuno4 搜索引擎蜘蛛爬行记录插件,方便自己查看蜘蛛爬行了哪个网页。


以前xiuno好像有这个插件的,不知道是不是作者删掉了,我改了一下分享出来。


支持识别google 、yahoo、bing 、百度 、360、搜狗、神马等主流搜索引擎的蜘蛛。


蜘蛛的爬取记录保存在  /upload/bot.txt


适合新站安装使用,主要看蜘蛛来没来过网站,爬了哪些网页。


上传的附件:
最新回复 (2)
  • 参观者 3月前
    0 引用 2
    收藏,谢谢分享
返回
发新帖
HTTP/1.1 502 Bad Gateway Content-Type: text/html Connection: close Content-Length: 308 Date: Thu, 26 Apr 2018 21:01:40 GMT X-Via: 1.1 localhost.localdomain (random:6297 Fikker/Webcache/3.7.5) 502 Bad Gateway

502 Bad Gateway - Cann't Connect To Upstream Server By SSL Read

Server: localhost.localdomain
Date: 2018-04-26 21:01:40

Fikker/Webcache/3.7.5