如果将网站视为宾馆内的一个房间，robots.txt就是主人在房间门口悬挂的【请勿打扰】或【欢迎打扫】的提示牌。这个文件告诉来访的搜索引擎哪些地方可以进入和参观，哪些地方是不可以进入和参观因为这可能涉及别人的隐私所以不对搜索引擎开放。但robots.txt不是命令，也不是防火墙，如同守门人无法阻止窃贼等恶意闯入者。

 　　很多Web站的一部分内容，不是对外公开的，读者也无法看到这些页面。实际上，雨林木风U盘启动小编倩倩觉得朋友们完全可以利用robots.txt文件。

 　　雨林木风U盘启动小编倩倩在浏览器地址栏中的网址后加上“/robots.txt”，你就可看到那些秘密网页的文件或文件夹列表。此后，雨林木风U盘启动小编倩倩在地址栏直接键入这些网页名，就可看到更多其他人看不到的网页了。雨林木风U盘启动小编倩倩直接在浏览器地址栏输入下图Disallow的地址，就可以访问这个不公开的网页了。