robots.txt文件是搜索引擎蜘蛛来到网站后访问的第一个文件，我们在编写时有很多需要注意的地方，如果不注意语法的正确使用，有些语句可能发挥不了应有的作用，会影响搜索引擎对网站的访问。接下来日成传媒SEO分享下robots文件与robots meta标签的应用。
robots文件可以指定sitemap的位置，写法是 sitemap：域名/sitemap.xml，这样就告诉搜索引擎蜘蛛这个地址是网站地图，如果我们有一些隐私文件要屏蔽搜索引擎蜘蛛不让其抓取时，可以在robots.txt中写上路径地址，相反网站中没有要屏蔽的内容时，则不用写明。
示例如下：
User-agent: *
Disallow: /bin/
Sitemap: https://www.krseo.com/sitemap.xml
如果有个页面不想让搜索引擎收录但却已经收录了，我们可以通过robots meta标签来解决。robots.txt文件主要是限制整个站点或者目录的蜘蛛访问，而 robots meta标签则主要是针对某个具体的页面，此标签放在页面中，专门用来告诉搜索引擎蜘蛛如何抓取该页的内容。
robots meta标签的基本写法是：lt;meta name=quot;robotsquot; conten=quot;index,followquot;gt;，这是我们应该学的SEO基础知识，以下是几项需要特别注意的地方：
1、在 robots meta标签中，name=quot;robotsquot;表示所有的搜索引擎，也可以针对某个具体的搜索引擎，如针对百度可以写为 name=quot;Baiduspiderquot;。
2、在content部分有4个指令选项，以英文逗号“,”隔开，分别是：index、follow、noindex、nofollow。
index 指令告诉搜索引擎蜘蛛可以抓取该页面。
noindex 指令与index指令相反，表示搜索引擎蜘蛛不可以抓取该页面。
follow 指令表示搜索引擎蜘蛛可以爬行该页面上的链接。
notollow 指令与 follow指令相反，表示搜索引擎蜘蛛不可以爬行该页面上的链接。
综上所述，robots meta标签有以下4种组合：
lt;meta name=quot;robotsquot; content=quot;index,followquot;gt;
lt;meta name=quot;robotsquot; content=quot;noindex,followquot;gt;
lt;meta name=quot;robotsquot; content=quot;index,nofollowquot;gt;
lt;meta name=quot;robotsquot; content=quot;noindex,nofollowquot;gt;
当robots meta标签的content值为quot;index,followquot;时，表示这个页面可以被抓取，此页面上的链接也可以被继续爬行，标签可以简写成lt;meta name=quot;robotsquot; content=quot;allquot;gt;。
当robots meta标签的content值为quot;noindex,nofollowquot;时，表示这个页面不可以被抓取，此页面上的链接也不可以被继续爬行，标签可以简写成lt;meta name=quot;robotsquot; content=quot;nonequot;gt;。
以上是robots.txt文件与robots meta标签用法。当发现网站中某个页面需要屏蔽蜘蛛抓取时，可以在该页面的源代码的lt;headgt;和lt;/headgt;之间添加robots meta标签。Robots.txt文件是搜索引擎蜘蛛来到网站后访问的第一个文件。我们在写的时候需要注意很多。如果不注意语法的正确使用，有些语句可能无法发挥应有的作用，会影响搜索引擎对网站的访问。接下来，瑞澄传媒SEO分享robots文件和robots meta标签的应用。
robots文件可以指定sitemap的位置，写为sitemap: domain name /sitemap.xml，从而告诉搜索引擎蜘蛛这个地址是网站地图。如果我们有一些隐私文件来屏蔽搜索引擎蜘蛛的抓取，我们可以把路径地址写在robots.txt里面，相反，网站里面没有什么可以屏蔽的。
例子如下:
User-agent:*
disallow:/bin/
sitemap:https://www.krseo.com/sitemap.xml[/br robots . txt文件主要用于限制蜘蛛对整个站点或目录的访问，而robots meta标签主要用于特定页面。这个标签放在页面中，专门用来告诉搜索引擎蜘蛛如何抓取页面内容。
robots meta标签的基本写法是:< meta name = quot机器人 quotconten = quot索引，跟随 quot gt，这是我们应该学习的SEO基础知识。下面是几个需要特别注意的事项:
1。在robots元标签中，name = quot机器人 quot意思是所有的搜索引擎，也可以针对某个特定的搜索引擎，比如百度，可以写成name = quotBaiduspider quot。
2。内容部分有四个命令选项，用英文逗号“，”分隔，分别是:index、follow、noindex和nofollow。
index指令告诉搜索引擎蜘蛛可以抓取这个页面。
no index指令与index指令相反，表示搜索引擎蜘蛛无法抓取页面。
以下说明表明搜索引擎蜘蛛可以抓取该页面上的链接。
not allow指令与follow指令相反，表示搜索引擎蜘蛛无法抓取该页面的链接。
总结起来，robots meta标签有以下四种组合:
< meta name = quot；机器人 quotcontent = quot索引，跟随 quot gt
lt；meta name = quot机器人 quotcontent = quotnoindex，跟随 quot gt
lt；meta name = quot机器人 quotcontent = quotindex，nofollow quot gt
lt；meta name = quot机器人 quotcontent = quotnoindex，nofollow quot gt
当robots元标记的内容值为“索引，跟随 quot当，表示这个页面可以被抓取，这个页面上的链接也可以继续抓取，标签可以缩写为
