湖南长沙八年做网站,网络优化推广服务团队,让您小投资大回报,帮您打开网络营销财富之门!
 业务服务热线:0731-88571521  13637482004  
 


地址:长沙市韶山南路248号南园503
      室(潇湘晨报旁)
电话:0731-88571521
手机:13637482004
Q  Q:44377655 522392221
网址:www.pk0731.com
邮箱:522392221@qq.com
网站维护与安全
长沙做网站联系电话:0731-88571521 13637482004

怎样写网站的robots文件 robots.txt这个文件是什么?有什么作用?

信息来源:   发布时间:2018-11-13   浏览:

一个网站如果”/robots.txt”不存在或者为空文件,那么说明此网站对于所有的搜索引擎robot,该网站都是开放的。


从京东和淘宝的robots.txt文件协议来看,robots.txt文件要讲究语法的.
三个语法
1、User-agent ——用于描述搜索引擎robot的名字,定义搜索引擎类型。
2、Disallow ——不希望被访问的一组URL,定义禁止抓取收录地址。
3、Allow——希望被访问的一组UR。
a、  *      匹配0或多个任意字符。
b、  $      结束符。 

首先写User-agent:
A、U必须大写,后面的小写,紧接着冒号 ——这里还要注意一点:输入法必须调成英文状态,都是英文状态下的)
B、空一格再定义搜索引擎类型。比如定义百度蜘蛛


再写
Disallow ——不希望被访问的一组URL,定义禁止抓取收录地址,或 Allow——希望被访问的一组UR。
Disallow: /(空一格,一撇)
Allow: /(空一格,一撇)


举例:

1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /


2. 仅禁止Baiduspider访问您的网站

User-agent: Baiduspider

Disallow: /


3.禁止Google索引你的网站。

User-agent: Googlebot

Disallow: /


4.除了百度以外,其他一切搜索引擎禁止索引你的网站。

User-agent: Baiduspider

Allow: /

User-agent: *

Disallow: /


5. 禁止所有搜索引擎访问install这个目录以及install这个目录下的所有文件

User-agent: *

Disallow: /install


6.禁止百度搜索引擎访问admin目录;允许访问images目录。

User-agent: Baiduspider

Disallow: /admin

Allow: /images


7.禁止百度搜索引擎访问网站所有.jpg的图片

User-agent: Baiduspider

Disallow: /*.jpg$


8.禁止百度搜索引擎访问网站所有的图片

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.png$

Disallow: /*.gif$


9.禁止所有搜索引擎访问admin目录下所有php文件;允许访问asp文件。

User-agent: *

Disallow: /admin/*.php$

Allow: /admin/*.asp$


10.禁止所有搜索引擎索引网站中所有的动态路径。

User-agent: *

Disallow: /*?*


重点区分以下两种:

a、禁止搜索引擎访问faq目录下的所有文件

User-agent: *

Disallow: /faq/     

例1:http://www.binweb.cn/faq/1.html 不能访问

例2:http://www.binweb.cn/faq1.html 能访问


b、禁止搜索引擎访问以faq开头的所有文件

User-agent: *

Disallow: /faq

例1:http://www.binweb.cn/faq/1.html 不能访问

例2:http://www.binweb.cn/faq1.html 不能访问





相关热点文章


地址:湖南长沙市韶山南路248号南园503室(潇湘晨报旁)  版权所有:长沙市天心区斌网网络技术服务部
咨询电话:0731-88571521   13637482004
业务 QQ:客服一 1306053142 客服二 1320506001 技术/售后 522392221 高级顾问 44377655
服务邮箱:fanbin@binweb.cn   522392221@qq.com
官方网址:www.binweb.cn   www.pk0731.com
旗下网站:斌网网络  长沙信息处  佛佛网  晒土货网
 湘公网安备 43010302000270号  网站ICP备案号:湘ICP备13006070号-1  

在线客服1 在线客服2 技术咨询 资深顾问