seo之管理爬虫
怎样设计网站能对爬虫更友好，一下分享几点内容：
1、链接长度，短比长好，越长越不容易被爬虫抓取
2、链接里最好不要有中文
3、网站的回访：打开速度快，识别难度（图片、视频几乎不识别，尽量别ajax）
4、有效收录（一个页面最少有20-30个链接）
5、访问日志
各大搜索引擎的爬虫名称：
baiduspider、360spider、googlebot、bingbot
怎样设计网站能对爬虫更友好，一下分享几点内容：
1、链接长度，短比长好，越长越不容易被爬虫抓取
2、链接里最好不要有中文
3、网站的回访：打开速度快，识别难度（图片、视频几乎不识别，尽量别ajax）
4、有效收录（一个页面最少有20-30个链接）
5、访问日志
各大搜索引擎的爬虫名称：
baiduspider、360spider、googlebot、bingbot
