Google bot 2.1开始窥测您网站的JavaScript

9/6/2008 From aw's blog

Summary: 今天在Analytics记录中查看Google新浏览器Chrome所带来的访问比率时，看到一个名为Googlebot 2.1的user-agent所占份额居然也不小。
这意味着您的Javascript代码，甚至AJAX应用都会被Google的2.1版机器人爬到。当然，Google作为技术最全面、市场份额最领先的搜索引擎公司，在这方面的努力并非今日才有。只不过，最近2.1版爬虫的“活动频率”提高了。...