搜索引擎美化和蜘蛛的故事

冬天美好

蜘蛛，机器人和爬虫是你的友人。假如要进行SEO，你不单需要喜欢它们，同时你真的需要趁便地把它们吸引到你的web上去。
    SEO中，蜘蛛，机器人和爬虫大略上讲的是统一种东西，可是别过度担忧--它们都没有腿和触角。所以，让我们同一用“爬虫”这个词来称说它们。请谨记，有时你需要吸引这些机器人，或者把你的web装作成“蜘蛛钓饵”。这都属于统一个准则。
    那么，什么是爬虫，为什么我们要把它请到我的web上去呢？
    爬虫是一种递次，或者是一段积极化的脚本，它在网上不停辛苦奔流到各个URL上去。爬虫经由它们阅读的网页上面的链接从一个URL爬到另一个URL
    诚然，网页会转变。有时，网页和web的转变周期十分短。除此之外，新的web和网页随时都在快捷泛起。这也是为什么爬虫不绝都在那处不停的爬行，一遍又一遍的阅读网页，并且创立和更新搜寻引擎的索引动静。
    搜寻引擎引库里面的形式是爬虫阅读网页时看到的形式。爬虫所看到的形式或者和通常的会见者看到的大相径庭。假如你想检查爬虫看到的某个网页的形式是什么，你可使用IE阅读器来会见它，然后按下全选，并阅读复制下来的形式。或者，你或者凭借baidu，点击搜寻毕竟上面的“网页快照”链接，就或者看到爬虫最近对这个网页做的快照了。
    首先也是最紧要的一点是，爬虫将它们爬过的每个页面的字和词组合起来。它们索引文本和链接。当你在搜寻框中输出一个搜寻词时，搜寻引擎尽量精确地找出和搜寻词组最受室的网页。
    所以，任何SEO工作的第一步的紧要一部分都是让爬虫更轻易缔造和爬行你的web。假如你的web没有被爬虫爬过，它们也就不会创立关于你的web的搜寻引擎索引。假如网页没有在索引当中，搜寻者也不会在搜寻引擎中找到它，以为搜寻引擎以为哪一个页面基本就不存在。