2008年06月23日 星期一 00:29
今天看到我们的zeuux.org的服务器上有googlebot的大量活动,于是统计了一下昨
天,也就是2008年6月22号的googlebot对我们网站的哪些页面感兴趣,以及抓取的
次数,用以下shell统计之:
$zgrep Googlebot\/2.1 zeuux.org-access.log.0.gz | awk '{print $7}' |
cut -f1-3 -d/ | sort | uniq -c | sort -nk1
1 /about/mentor.cn.html
1 /campaign/zeuux-freedom-summit-2008-shanghai.cn.html
1 /community/mailing-list.cn.html
1 /community/zeuux-guru-plan.cn.html
1 /community/zeuux-handbook.cn.html
1 /community/zeuux-salon.cn.html
1 /community/zeuux-team.cn.html
1 /fashion
1 /index.cn.html
1 /law/billxu-rms-drm.cn.html
1 /mailman/admin
1 /mailman/listinfo
1 /news/gnewsense-1-release.cn.html
1 /patron/patron.cn.html
1 /philosophy/open-letter-to-cmb.cn.html
1 /pub/zeuux-campus-sdu-20080417-free-software.pdf
1 /pub/zeuux-monthly-3-200803-ext4-introduction.pdf
1 /robots.txt
1 /science/learning-cvs.cn.html
1 /science/learning-shell.cn.html
2 /
3 /pipermail/zeuux-www
5 /campaign/zeuux-freedom-summit-2008.cn.html
5 /community/fashion
77 /pipermail/zeuux-universe
45054 /pipermail/zeuux-python
昨天一天zeuux-python邮件列表被Google的spider抓取了45054次!太nb了!
--
夏清然
Xia Qingran
qingran at zeuux.org
Zeuux © 2025
京ICP备05028076号