SEO方面的创建网页列表或索引

　　搜索引擎优化(SEO)是一个总括性的术语，涵盖了品牌从搜索引擎到网站获取有机流量所做的一切，搜索引擎优化涉及技术方面，如网站架构，以及更富有想象力的元素，如内容创建和用户体验。

　　网络是由不断扩大的、通过链接连接的大量页面组成的，搜索引擎需要找到这些页面，了解其中的内容，并将它们存储在一个称为索引的海量数据库中。

　　为了做到这一点，他们使用被称为蜘蛛或爬虫的机器人来扫描网络上的托管域，爬虫程序保存一个列表，其中列出了它们找到的所有服务器以及托管在这些服务器上的网站。

　　使用诸如ref和SRC之类的代码标记来检测指向其他页面的链接，然后将这些链接添加到要爬网的站点列表中，这使得蜘蛛可以编织一个更大的索引页面的网络，从一个页面跳到另一个页面并将它们添加到索引中。