robots.txt協議寫法攻略大全

  懂一點SEO的人都知道,在SEO網站優化中robots.txt文件的編寫直接影響網站優化的成果。正所謂,細節決定成敗,robots.txt文件要怎么寫?今天天鴻seo就花一點時間,專門為大家獻上史上最詳細的robots文件的寫法解析。
robots.txt協議寫法1
 
  一、為什么要寫robots.txt文件,它的作用是什么?
 
  robots.txt是用來告訴搜索引擎網站上哪些內容可以被訪問、哪些不能被訪問。當搜索引擎訪問一個網站的時候,它首先會檢查網站是否存在robots.txt,如果有則會根據文件命令訪問有權限的文件。
 
  而一個網站為什么要寫robots.txt,主要有四點:
 
  1、保護網站安全
 
  2、節省流量
 
  3、禁止搜索引擎收錄部分頁面
 
  4、引導蜘蛛爬網站地圖
robots.txt協議寫法2
 
  二、robots.txt的寫法與步驟
 
  1、定義搜索引擎
 
  用User-agent:來定義搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。
 
  也就是說User-agent:*表示定義所有蜘蛛,User-agent:Baiduspider表示定義百度蜘蛛。
 
  2、禁止與允許訪問
 
  Disallow: /表示禁止訪問,Allow: /表示允許訪問。
 
  在寫robots.txt時需特別注意的是,/前面有一個英文狀態下的空格(必須是英文狀態下的空格)。
 
  3、禁止搜索引擎訪問網站中的某幾個文件夾,以a、b、c為例,寫法分別如下:
 
  Disallow: /a/
 
  Disallow: /b/
 
  Disallow: /c/
 
  3、禁止搜索引擎訪問文件夾中的某一類文件,以a文件夾中的js文件為例,寫法如下:
 
  Disallow: /a/*.js
 
  4、只允許某個搜索引擎訪問,以Baiduspider為例,寫法如下:
 
  User-agent: Baiduspider
 
  Disallow:
 
  5、禁止訪問網站中的動態頁面
 
  User-agent: *
 
  Disallow: /*?*
 
  6、只允許搜索引擎訪問某類文件,以htm為例,寫法如下:
 
  User-agent: *
 
  Allow: .htm$
 
  Disallow: /
 
  7、禁止某個搜索引擎抓取網站上的所有圖片,以Baiduspider為例,寫法如下:
 
  User-agent: F
 
  Disallow: .jpg$
 
  Disallow: .jpeg$
 
  Disallow: .gif$
 
  Disallow: .png$
 
  Disallow: .bmp$
robots.txt協議寫法3
 
  三、robots.txt文件存放位置
 
  robots.txt文件存放在網站根目錄下,并且文件名所有字母都必須小寫。
 
  四、特別注意事項
 
  在寫robots.txt文件時語法一定要用對,User-agent、Disallow、Allow、Sitemap這些詞都必須是第一個字母大寫,后面的字母小寫,而且在:后面必須帶一個英文字符下的空格。
 
  網站上線之前切記寫robots.txt文件禁止蜘蛛訪問網站,如果不會寫就先了解清楚寫法之后再寫,以免給網站收錄帶來不必要的麻煩。
 
  robots.txt文件生效時間在幾天至一個月之間,站長自身無法控制。但是,站長可以在百度統計中查看網站robots.txt文件是否生效。
 
本文重點講了robots.txt協議寫法攻略大全。互聯網技術的發展催生了大量不同功用的網絡平臺,每個平臺都是營銷的舞臺,天鴻網作為一個煙臺本地的網絡營銷知識分享網站,致力于不斷發掘這些平臺的價值,為網絡營銷從業者提供有價值的全網營銷新方法新工具。

內容版權聲明:除非注明,否則皆為本站原創文章。

轉載注明出處:http://www.hyzzsb.com/SEOjishu/159.html

說點什么吧
  • 全部評論(0
    還沒有評論,快來搶沙發吧!