利用GOOGLE管理员工具测试Robots.TXT 与 页面内容抓取，GOOGLE管理员可以说是网站与GOOGLE间接沟通的工具，虽然G.cn现在已经移民、导致使用GOOGLE时会经常出现搜索错误或超时问题，但是GOOGLE目前所发布出来的工具无不是最权威的工具(Google Analytics 、Google Trends、Google ...

搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。但是，如果网站的某些信息不想被别人搜索到，我们可以创建一个纯文本文件robots.txt，放在网站根目录下。这样，搜索机器人会根据这个文件的内容，来确定哪些是允许搜寻的 ...