天津SEO优化将网站关键词排名推广到百度快照第1页
152-1580-3335
网站推广、网站建设专家！
专业、务实、高效
网站推广、网站建设专家！
专业、务实、高效
搜刮引擎实的服从robots.txt和谈吗？
我们皆晓得robots.txt文件是搜索系统服从的一个抓与和谈，可是是否是实的有用果呢？
搜索系统实的会遵照那个和谈吗？
让我们尾先去看看
上面那段 [那是我北昌SEO站面的robots.txt设置：许可GG 百度、ALEXA 抓与，屏障了其他统统引擎制止！]
User-agent:Googlebot Disallow: User-agent:百度spider Disallow: User-agent:ia_archiver Disallow: User-agent:* Disallow:/ |
从实际上去道 那样的设置便屏障了其他统统引擎，但实践上那种办法其实不能完整屏障SOSO YAHOO MSN之类的爬虫，正在YAHOO上输进site：搜索引擎优化-jx借是能够看到内容和索引的！
服从robots和谈取可固然是由他们本人道了算的！以是要念完整屏障搜索系统的爬虫，需求正在.htaccess中参加限定语句才止，那里我们引见2种最简朴的办法：
1：
| RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC] RewriteRule .* - [F] |
2：
SetEnvIfNoCase User-Agent "^MSNBOT" bad_bot <Limit GET POST> |
注：MSNBOT 为MSN蜘蛛机械人代码 ，假如念要实正屏障某个搜索系统 把此中的白色部门[MSNBOT]
换成您念要屏障的蜘蛛机械人代码便可！
请没有要随便加写 不然形成丧失取本人无闭！
SEO小林公布，转载请说明出处：江西北昌SEO 搜索引擎优化-jx/
注：相干网站建立本领浏览请移步到建站教程频讲。
相关信息
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
