您好,欢迎光临搜索引擎优化网站!

企业网站优化,优化方法,公司网络优化方案

seo服务公司,seo排名工具、关键词优化学习

robots.txt文件的写法(wordpressrobots书写)

作者:晴导师

浏览量: 0

2020-10-24

robots.txt文件是向搜索引擎蜘蛛展示哪些页面允许爬取,哪些页面禁止爬取,放置在网站根目录。格式是:User-agent:*Disallow:Allow:User-agent:*代表允许所有搜索引擎蜘蛛爬行Disallow:

robots.txt文件是向搜索引擎蜘蛛展示哪些页面允许爬取,哪些页面禁止爬取,放置在网站根目录。

格式是:

User-agent:*

Disallow:

Allow:

User-agent:*代表允许所有搜索引擎蜘蛛爬行

Disallow:不允许搜索引擎蜘蛛爬取的文件或目录

Allow:允许搜索引擎蜘蛛爬取的文件或目录

如超快排博客的robots.txt文件是这样写的:(wordpress)

User-agent: *
  Disallow: /wp-admin
  Disallow: /wp-includes
  Disallow: /wp-content
  Disallow: /?p=*
  Disallow: /?cat=*
  Disallow: /page/*
  Disallow: /*/page/*
  Disallow: /*/feed

User-agent:*允许所有搜索引擎蜘蛛爬行

Disallow:/wp-admin
Disallow:/wp-includes
Disallow:/wp-content

不允许搜索引擎蜘蛛爬取wp-adminwp-includeswp-content这三个目录,这三个目录里放的主要是wordpress的程序文件以及网站后台,没必要让搜索引擎蜘蛛爬取。

Disallow:/?p=*
Disallow:/?cat=*

由于做了伪静态,wordpress的动态链接也没必要让搜索引擎蜘蛛爬取了。

?p=数字是wordpress日志的动态连接。

?cat=数字是wordpress分类目录的动态连接。

Disallow:/page/*
Disallow: /*/page/*

这俩是做了伪静态后首页和分类分页产生的链接,首页只收录一个就好,所以这个文件夹要禁止搜索引擎蜘蛛爬取。

进入了解更多关于新闻资讯的信息。