【简单云】怎么利用ROBOTS文件对WORDPRESS进行蜘蛛爬取优化

简单主机(www.simplehost2.com)小编近期看了相关的SEO技术文章,从中呢了解了robots的好处,这个文件可以开发和拒绝蜘蛛的爬去,很多站长朋友对于这个文件从而对SEO的话,是非常有效果的,这就告诉蜘蛛,我和您是朋友,所以针对这个问题,简单主机小编就来谈谈怎么对wordpress进行优化。
首先我们要知道什么是robots.txt,他是存放在网站的根目录的ASCII编码的文本文件,它通常叫做网络收索引擎的漫游器,又称为网络蜘蛛,它可以与接受和蜘蛛是朋友,也可不要和蜘蛛做朋友,在这点上呢,这个文件目前并不是一种标准,只是一种协议,所以又很多的搜索引擎对这个文件的指令参数都有不同的看待。
那么我们知道这个文件的概念之后,就需要知道这个文件需要注意的几个地方:
1、指令时要区分大小写的,忽略未知的指令。
2、每一行代表一个指令,空白和隔行都是会被忽略。
3、“#”号后的字符参数会被忽略。
4、独立User-agent的规则,会排除在通配“*”User agent的规则之外。
5、可以写入sitemap文件的链接,方便搜索引擎蜘蛛爬行整站内容。
6、尽量少用Allow指令,因为不同的搜索引擎对不同位置的Allow指令会有不同看待。
对于这些我们了解之后,那么我们就去做我们的wordpress的优化设置去了,让它和蜘蛛更友好的去接触。接下来就来看看简单主机小编怎么去设置的吧。
User-agent:*
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*
Disallow: /?r=*
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /?p=*
Disallow: /*/comment-page-*
Disallow: /*?replytocom*
Disallow: /a/date/
Disallow: /a/author/
Disallow: /a/category/
Disallow: /?p=*&preview=true
Disallow: /?page_id=*&preview=true
Disallow: /wp-login.php
Sitemap:http://***.com/sitemap.txt
把以上的指令复制到robots.txt中,上传到根目录即可,可能有很多的站长朋友会有疑问,都是些什么呢,简单主机小编有一个简短的词语的告诉您们,这些规则就是优化蜘蛛爬去的优化结果,可能很多站长朋友都被流氓蜘蛛爬去到了,那么小编这里可以有效的屏蔽,这样对于您的网站的收录是一件好事。所以站长朋友可以根据自己的需求去补充这个指令,Disallow没有强制的要求,小编也建议站点开通谷歌管理员工具,检查站点的robots.txt是否规范。这样有效的优化,会给您带来不错的流量哟。
谢谢站长朋友们对简单主机的支持与厚爱。

 

 

纯Linux环境、免备案【海外简单云】php空间,108元一年起。

 

网上创业步骤】:
1 开通云主机、域名  2 建设官方网站 3 整体网站推广 … 成功见证 创业技能素质培训

更多有价值的内容:

简单主机官方网站 www.simplehost2.com

简单主机官方网店 store.simplehost2.com

简单主机官方相册 gallery.simplehost2.com

简单主机官方博客 blog.simplehost2.com

QQ空间
腾讯微博
新浪微博
网易微博
搜狐微博
人民网微博
微信公众号
朋友网
淘宝网
豆瓣网
百度空间
新华微博
优酷网
人人网
开心网
天涯社区
简单云,简单主机,简单建站

微信号:simplehost

扫一扫,了解更多…