网站日志怎么看？
最近做了个网站，一直没有收录，如何查看日志来分析网站蜘蛛情况，网站日志怎么看？有什么工具可以分析网站日志啊？
-
一、首先我们得从服务器中下载日志，由于小编用的是万网的虚拟主机，所以在后台ftp中下载日志，一般的虚拟主机都是wwwlogs,有的也不一样，可以问下你的服务商。
二、分析网站日志的工具也有很多种，如：光年日志分析、拉格好、php软件等方式，但是，我感觉都不是很好，今天小编为大家来介绍一款我前面提到的软件：cgywin 。
1、由于以前讲过cgywin软件的安装，本文就不再介绍了。输入：pwd
2、将下载下来的日志重命名放入到Adminstrator文件中
3、把想要分析的数据分离出来
三、如何分离数据，下面是一些命令，直接将其复制即可。打开cgywin软件
1、判断百度蜘蛛爬取情况：
输入：cat 1.log|grep ‘baiduspider’>>baidu.txt
输入：cat baidu.txt|awk ‘{print $9}’|sort|uniq -c
（备注：1.log是小编我自己命名的网站日志服务器文件）；输入此命令可以将百度蜘蛛从你的网站日志服务器中分离出来，非常的方便。可以查看蜘蛛爬取网站的情况；数字“9”是你的网站日志对应的链接在第几行 你就写几。
2、判断404抓取情况：
输入：cat baidu.txt|grep ‘404’>>baidu404.txt
输入：cat baidu404.txt|awk ‘{print $7}’>>404.txt
备注：一个链接被重复抓取的次数（给抓取次数多的链接加上nofollow）;注意nofollow不是随意添加的。
cat baidu.txt|awk ‘{print $7(是你的网站日志对应的链接在第几行 你就写几)}’|sort|uniq -c
如果你还想分析其他的内容，可以用同样的方法，另外，网站不收录的总体原因，也可以用这个去分析查看，看蜘蛛抓取的频次。是不是很简答实用啊！
2021年6月16日 13:59:47 0条评论
