网站迟迟没有收录,检查一下您的robost.txt

发布时间 :2019-06-04 13:21   浏览次数:951

        如果您的网站上线后迟迟没有被收录可能可能是你的网站被封禁了,您就是再向搜索引擎提交信息,也不会被收录,下面爱意德带您解决网站不被收录的问题!

1,手续新站入口提交

        百度网站入口提交:https://ziyuan.baidu.com/linksubmit/url

        搜狗网站收录提交入口:http://www.sogou.com/feedback/urlfeedback.php

        SOSO搜搜网站收录提交入口:http://www.soso.com/help/usb/urlsubmit.shtml

        360搜索引擎登录入口:http://info.so.360.cn/site_submit.html

        bing(必应)网页提交登录入口:http://www.bing.com/toolbox/submit-site-url

        Alexa网站登录入口:http://www.alexa.com/help/webmasters

        网易有道搜索引擎登录口:http://tellbot.youdao.com/report

2,robost.txt设置

        首先你要了解什么是robots,robots(又称spider)是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

      

        robots.txt文件的格式

        robots.txt文件应该放在网站根目录下。举例来说,当robots访问一个网站时,首先会检查该网站中是否存在这个文件,如果机器人找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:

        User-agent:该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

        Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

        Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

        使用"*"and"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
        "*" 匹配0或多个任意字符
         "$" 匹配行结束符。

        robots.txt语法教程

        1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。
        2. 禁止所有SE收录网站的某些目录:


User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

        3. 禁止某个SE收录本站,例如禁止百度:


        

User-agent: Baiduspider
Disallow: /

        4. 禁止所有SE收录本站:
          
User-agent: *
Disallow: /

        5. 加入sitemap.xml路径,例如:



User-agent: *
Disallow: 
Sitemap:<网站地图位置>