SEO技术:百度SEO:google SEO:seo工具:搜索引擎优化技术

转载请注明出自seo技术站

尽管robots.txt对于提高网站排名是很重要的,但不少网站缺对robots文件.

如果你还没为你的网站创建robots.txt文件,请通过本文的学习,来为你网站创建robots.txt. 如果你网站已经有了robots.txt,那么,阅读完本文,你也应该检查下你的robots.txt,确保其中没有任何错误.

一,什么是robots.txt?

当搜索引擎蜘蛛来抓取你网站时,它会寻找一个特殊的文件.这个文件就叫是robots.txt. 它会告诉搜索引擎蜘蛛,这个网站的哪些网页应该被收录,哪些页面不需要被收录
robots.txt是一个简单的纯文本文件,它必须上传到你网站的根目录里面.

例如:

http://www.yourwebsite.com/robots.txt

二,如何创建robots.txt文件?

如上所述,robots.txt文件是一种简单的纯文本文件.你可以用记事本来创建和编辑它. robots.txt文件的内容由所谓的”records(记录)”构成的.
每一条记录都会告诉所指定的搜索引擎蜘蛛一些信息.每个记录都包含有2部分: User-agent,以及一行或者多行Disallow

例如:

User-agent: googlebot
Disallow: /cgi-bin/

这个robots.txt文件将允许”googlebot”(google的蜘蛛)抓取除了/cgi-bin/目录以外的所有网页内容
Disallow命令的运作和通配符比较相似.如果你在robots.txt里写:

User-agent: googlebot
Disallow: /support

那么”/support-desk/index.html” 和 “/support/index.html” 以及其他所有的”support”开头的目录里的内容都不会被google搜索引擎抓取.

如果Disallow行留空,那么搜索引擎会抓取你网站目录下的所有内容.在任何情况下,你必须要为每个User-agent:写一行Disallow记录.
如果你想给所User-agent:相同的权利,那么,你可以使用下面的代码:

User-agent: *
Disallow: /cgi-bin/

三,我在哪里才能找到User-agent:名称?

More »