阿里巴巴和淘宝网的robots.txt展示

9/10/2008 From 网络营销专业人士交流分享|卫强博客

Summary: 因与百度未来利益纷争，淘宝决定禁止百度搜索引擎爬行其网页。
笔者检查了淘宝网的robots.txt文档，发现确实如此。
++++++++ 淘宝网robots.txt文档 ++++++++
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
++++++++ http://www.taobao.com/rob...