在做SEO時，很多時候想對頁面進行精確控制，robots.txt并不能完全滿足我們的需求，這時候我們可以利用html的元標記來了。
指令整合：
index/noindex 是搜允許抓取本頁面
follow/nofollow 是否允許從本頁抓取索引別的鏈接
archive/noarchive 是否允許建立快照
禁止搜索引擎建立快照
快照不被百度緩存（禁止百度快照）：
<meta name="Baiduspider"content="noarchive">
所有搜索引擎，抓取這個頁面、爬行鏈接、禁止快照：
<meta name="robots"content="index,follow,noarchive">
所有搜索引擎，禁止快照
<meta name="robots"content="noarchive">
以上的一段代碼限制了所有的搜索引擎建立你的網頁快照，需要注意的是，這樣的標記僅僅是禁止搜索引擎為你的網站建立快照，如果你要禁止搜索引擎索引你的這個頁面的話，請參照后面的辦法。
禁止搜索引擎抓取本頁面
為了讓搜索引擎禁止抓取本頁面，我們一般的做法是在頁面的元標記中加入如下的代碼：
<meta name="robots" content="noindex,follow">
在這里，meta name=”robots”是泛指所有的搜索引擎的，在這里我們也可以特指某個搜索引擎。
例如meta name=”Googlebot”、meta name=”Baiduspide”等。
content部分有四個命令：index、noindex、follow、nofollow，命令間以英文的 “,”分隔。
index命令：告訴搜索引擎抓取這個頁面
follow命令：告訴搜索引擎可以從這個頁面上找到鏈接，然后繼續訪問抓取下去。
noindex命令：告訴搜索引擎不允許抓取這個頁面
nofollow命令：告訴搜索引擎不允許從此頁找到鏈接、拒絕其繼續訪問。
根據以上的命令，我們就有了一下的四種組合
<meta name="robots" content="index,follow">：可以抓取本頁，而且可以順著本頁繼續索引別的鏈接 <meta name="robots" content="index,follow">：不許抓取本頁，但是可以順著本頁抓取索引別的鏈接 <meta name="robots" content="noindex,nofollow">：可以抓取本頁，但是不許順著本頁抓取索引別的鏈接 <meta name="robots" content="noindex,nofollow">：不許抓取本頁，也不許順著本頁抓取索引別的鏈接
這里需要注意的是，不可把兩個對立的反義詞寫到一起，例如
<meta name="robots" content="index,noindex">
或者直接同時寫上兩句
<meta name="robots" content="index,follow"><meta name="robots" content="noindex,follow">
這里有一個簡便的寫法，如果是
<meta name="robots" content="index,follow">
的形式的話，可以寫成：
<meta name="robots" content="ALL">
如果是
<meta name="robots" content="noindex,nofollow">
的形式的話，可以寫成：
<meta name="robots" content="none">
當然，我們也可以把禁止建立快照和對于搜索引擎的命令寫到一個命令元標記中。從上面的文章中我們得知，禁止建立網頁快照的命令是noarchive，那么我們就可以寫成如下的形式：
<meta name="robots" content="index,follow,noarchive">
如果是對于單獨的某個搜索引擎不允許建立快照，例如百度，我們就可以寫成：
<meta name="robots" content="index,follow,noarchive">
如果在元標記中不寫關于蜘蛛的命令，那么默認的命令即為如下
<meta name="robots" content="index,follow, archive">
如果我們對于這一部分把握不準的話，可以直接寫上上面的這一行命令，或者是直接留空。
因此，在SEO中，了解robots和html的元標記的用法，對于控制搜索引擎蜘蛛的抓取非常重要的。
