各人皆晓得robots.txt是为爬虫和谈，是针对搜刮引擎划定规矩设置的文件。实际上搜刮引擎的爬虫蜘蛛正在匍匐您的网页之前城市先会见那个文件。看看您详细设置了哪些划定规矩，哪些内容期望内支录，哪些内容制止被支录。那些皆是经由过程根目次下的robots.txt文件去操纵完成，那个文件相称于取搜刮引擎对话的指定文件。实在robots开辟界供给了两个法子：一个是robots.txt，另外一个是The Robots META标签。
各人对robots.txt打仗的比力多，但是对the robots meta标签能够利用的比力少。实在二者各有益弊组开拆配利用的话对优化去道结果才最好。the robots meta也可用做 制止搜刮引擎支录战通报权重，便连海内的出名网站也会利用那些标签。以下图是网易尾页代码：
The Robots META标签真例：<meta name="robots" content="nofollow" />
需求留意的是The Robots meta标签是放正在<head></head>之间的标签。
真例2：<meta name="robots" content="nofollow,noindex" />
The Robots meta标签能够同时设置几个属性
真例3：<meta name="robots" content="nofollow" />
<meta name="robots" content="noindex" />
The Robots meta标签能够几条一同利用
真例4：<meta name="谷歌bot" content="nofollow" />
The Robots meta标签name值能够改成搜刮引擎爬虫
默许是all
此中的属性阐明以下：
设定为all：文件将被检索，且页里上的链接能够被查询;
设定为none：文件将没有被检索，且页里上的链接不成以被查询;
设定为index：文件将被检索;
设定为follow：页里上的链接能够被查询;
设定为noindex：文件将没有被检索，但页里上的链接能够被查询;
设定为nofollow：文件将没有被检索，页里上的链接能够被查询。
趁便提一下revisit-after (重访)<META name="revisit-after" CONTENT="7 days" >
告诉搜刮引擎几天会见一次
提示各人：搜刮引擎能够了解任何巨细写的组开，一切巨细写皆是一样的结果。假如包罗多内容的数值，数值之间需求利用逗号分开。
