事实上，搜索引擎包括在互联网上收集数据的页面，这是搜索引擎最基本的工作。搜索引擎的数据收集能力直接决定了搜索引擎能够提供的信息量和互联网的覆盖面，从而决定了搜索引擎的质量。因此，搜索引擎总是尽力提高自己的数据收集能力。
1.页面收录流程在互联网上，网址是每个页面的入口地址，搜索引擎的蜘蛛程序通过网址抓取页面。搜索引擎蜘蛛程序从URL列表开始，通过URL抓取并存储页面；同时，提取原始页面中的URL资源，并添加到URL列表中。如果你不断循环，你可以从互联网上获得足够的页面。URL是页面的入口，域名是网站的入口。搜索引擎蜘蛛程序通过域名进入网站，从而抓取网站页面。换句话说，搜索引擎在互联网上抓取页面的首要任务是建立一个足够大的域名列表，然后通过域名输入相应的网站，从而在网站中抓取页面。对于网站来说，要想被搜索引擎收录，第一个条件就是加入搜索引擎的域名列表。以下是加入搜索引擎域名列表的两种常见方式。
第一，使用搜索引擎提供的网站登录门户向搜索引擎提交网站域名。例如，谷歌的网站登录地址是http://www.google /intl/zh-CN/add_url.html,它可以在那里提交自己的网站域名。对于提交的域名列表，搜索引擎只会定期更新。所以这种做法比较被动，从域名提交到网站收录需要很长时间。通过与外部网站建立链接关系，
第二，使搜索引擎能够通过外部网站找到我们的网站，从而实现网站的收录。这种做法的主动权在我们自己手里(只要我们有足够的高质量链接)，县域收录的速度比主动提交给搜索引擎要快得多。根据外部链接的数量、质量和相关性，一般2-7天左右就会被搜索引擎收录。
2.页面收录原理,通过以上介绍，认为读者已经掌握了网站被搜索引擎收录的方法。但是，如何才能增加网站包含的页面数量呢？要回答这个问题，首先要了解搜索引擎的收录页面的工作原理。如果将网站页面的集合看作一个有向图，则网站中的页面按照特定的策略从指定的页面开始，沿着页面中的链接进行遍历。不断将访问过的URL从URL列表中移除，保存原页面，同时提取原页面中的URL信息；然后把URL分为域名和部分URL，同时判断资源。通过这些努力，搜索引擎可以建立一个庞大的域名列表，一个页面URL列表，存储足够的原始页面。
3.页面收录方式已经介绍了搜索引擎包括网页的过程和原理。然而，在互联网数以亿计的页面中，搜索引擎怎样才能从中抓取到相对重要的页面呢？这就是涉及搜索引擎的页面收录方式。
页面收录方式是指搜索引擎抓取页面时所使用的策略，是为了能在互联网中筛选出相对重要的信息。页面收录方式的制定取决于搜索引擎对网站结构的理解。如果使用相册的抓取策略，搜索引擎在同样的时间内可以在某一网站中抓取到更多的页面资源，则会在该网站上停留更长的时间，收录的页面数自然也就更多。因此，加深对搜索引擎页面收录方式的认识，有利于为网站建立友好的结构，提高页面被收录的数量。广度优先
如果把整个网站看作是一棵树，首页就是根，每个页面就是叶子。广度优先是一种横向的页面抓取方式，先从树的较浅层开始抓取页面，直至抓取完同层次的所有页面后才进入下一层。因此，在对网站进行优化时，我们应该把网站中相对重要的信息展示在层次较浅的页面上（例如，在首页上推荐一些热门产品或者内容）。反过来，通过广度优先的抓取方式，搜索引擎就可以优先抓取到网站中相对重要的页面。
首先，搜索引擎从网站首页出发，抓取首页上所有链接指向的页面，形成页面集合A，并解析出集合A中所有页面的链接；再跟踪这些链接抓取下一层的页面，形成页面集合B；就这样递归地从线层页面中解析出链接，从而抓取深层页面，直至满足了某个设定的条件才停止抓取进程。
深度优先
与广度优先的抓取方式相反，深度优先首先跟踪线层页面中的某一链接逐步抓取深层页面，直至抓取完最深层的页面后才返回浅层页面再跟踪其另一链接，继续向深层页面抓取，这是一种页面，这样就能满足更多用户的需求。
鲁ICP备15001313号
鲁公网安备 37039402000105号