网站robots文件如何写?怎样seo优化?

    robots文件网站SEO优化


    1、什么叫做robots文件


    robots文件的全名是robots.txt这个文件的文件名必须小写


    这个文件是你网站跟搜素引擎之间的沟通方式,跟搜索引擎之间的一个协议,搜索引擎在抓取网站的时候首先就会看这个文件,这个文件上面写了网站哪些链接可以被抓取,哪些链接不能被抓取。


    我们可以用它来屏蔽我们网站一些不参与排名的链接所对应的页面。


    这个文件并非是所有网站都有的,如果有的话,这个文件必须要放在网站的根目录下面。


    robots.txt根目录www.xxx.com


    www.xxx.com/robots.txt


    目前后台里面一般自带默认的robots.txt文件,不能满足优化的需求,所以我们需要在此基础之上来优化这个文件。


    如果网站没有这个文件的需要上传一个robots.txt文件。


    robots文件的写法


    User-agent:后面跟的是蜘蛛的名称


    User-agent:baiduspider


    User-agent:*这个*是一个通配符代表所有蜘蛛的名称


    我们企业的站点的一般使用到的都是*来代替所有蜘蛛。


    Disallow:后面跟着禁止抓取的内容路径


    User-agent:*


    Disallow:/plus/1.php


    Allow:/plus/2.php


    假如这个plus这个目录有两个文件一个1.php和2.php


    禁止所有蜘蛛抓取plus目录下面的1.php这个文件


    但是可以抓取2.php这个文件


    Allow:后面跟着就是允许抓取的文件路径


    Disallow:/admin禁止抓取admin这个目录


    ALLOW:/a/6.htm


    Disallow:/a/*.htm禁止抓取a目录下面所有以.htm结尾的网页文件


    www.xxx.com/a/1.htm


    www.xxx.com/a/2.htm


    www.xxx.com/a/3.htm


    www.xxx.com/a/4.htm


    www.xxx.com/a/5.htm


    Disallow:/*?*禁止抓取带有?的动态网址,这个写法不要贸然使用,可以使用具体的写法。具体禁止某一条链接就行,如下


    Disallow:/seozhisasp?12.html


    Disallow:/.jpg$表明禁止网站以.jpg结尾的图片文件


    想要编写这个网站robots.txt文件一定需要结合自己的网站的文件目录,首先需要清楚自己网站目录文件是干什么的。


    除了我们发的大家网站都有的文件,还有一些特殊的链接需要屏蔽掉


    例如网站的死链接可以使用robots.txt屏蔽不让蜘蛛抓取


    www.xxx.com/a/1.html死链接


    Disallow:/a/1.html


    除了需要写禁止的,我们还需要写一条允许的记录在这个robots文件里面


    我们需要允许站点地图能被抓取