您的位置:老鐵SEO > 站長新聞 >

WordPress博客網站robots.txt文件寫法

文章來源:未知

作者:老鐵SEO

人氣:12

2019-10-14

也許很多站長并不知道什么是robots.txt,其實在的SEO博客里面就發表過一篇關于如何書寫robots.txt的文章,圍觀地址“robots.txt協議的寫法,對其SEO的作用”今天給大家帶來一篇關于“WordPress博客網站robots.txt文件寫法”廢話不多說直接進入主題。

一,為什么要寫robots.txt文件,我們通過一張圖片來說明:

 

robots

有效的保護了用戶的隱私,保護了網站的部分內容;而只呈現給搜索引擎應該抓取的頁面。

 

呈現網站地圖給搜索引擎。

避免了重復網頁的抓取。

二,WordPress博客網站robots.txt的書寫:

由于博客之前有一篇文章專門介紹robots.txt文件的書寫,所以這里不做介紹;我們直接進入主題:

一份完整的robots.txt的書寫規則應該是:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-content/languages/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /wp-includes/
Disallow: /comments/
Disallow: /category/
Disallow: /tag/
Disallow: /page/
Disallow: /feed/
Disallow: /author/
Disallow: /trackback/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*?
Disallow: /*/*?
Disallow: /*/*/*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# Alexa archiver
User-agent: ia_archiver
Disallow: /

Sitemap:http://wwww.tassospasalis.com/sitemap.xml
Sitemap:http://www.tassospasalis.com/sitemap_baidu.xml

一份完整的robots.txt文件兼顧了WordPress博客網站的方方面面。如果你并不想深入研究WordPress與robots.txt文件,那么你可以直接復制上面的書寫規則,只要替換以上規則中Sitemap部分的網址為你的網站的網址,把robots.txt文件上傳到你的網站根目錄下即可。

Robots.txt文件針對的是整個網站提出訪問的限制,如果你要針對個別頁面作搜索引擎訪問的限制的話,就需要在HTML文件中使用Robots Meta標簽,一個Robots Meta標簽形式如下。

<meta name="robots" content="noindex,follow"/>

content通常有四個選項:index, noindex, follow, nofollow,分別告訴搜索引擎索引、不索引、繼續爬行、不繼續爬行這個網頁。

最后說兩句:

robots.txt的書寫還是有必要的,對于新手來說robots的書寫規范有難度,需要不斷的學習操作。

相關文章

在線客服

外鏈咨詢

掃碼加我微信

微信:juxia_com

返回頂部

肉动漫无码纯肉高H免费,又黄又爽的视频合集,av日韩动漫精品一区二区,欧美性强迫XXXX