Robot是什么

    Robot英文直譯是機(jī)器人，在搜索引擎優(yōu)化SEO中，我們經(jīng)常翻譯為：探測(cè)器。
    有時(shí)，你會(huì)碰到crawler（爬行器），spider（蜘蛛），都是探測(cè)器之一，只是叫法不同。
    SEO中常說(shuō)的這個(gè)探測(cè)器（Robot）是什么？
    搜索引擎用來(lái)抓取網(wǎng)頁(yè)的工具。它是一個(gè)軟件或者說(shuō)一系列自動(dòng)程序（顯然，不是一部機(jī)器）。
    不同的搜索引擎給他們自己的探測(cè)器（Robot）起不同的名字。
    谷歌：googlebot  百度：baiduspider   MSN:MSNbot   Yahoo:Slurp  （yahoo家的這位比較特殊，沒(méi)有帶“姓”,并且用的是一個(gè)擬聲詞。Slurp,中文理解是機(jī)器人吃東西時(shí)發(fā)出的嘖嘖的聲音）
    關(guān)于Robot,需要關(guān)心的主要是Robots.txt,以及網(wǎng)站日志中包含的以上幾個(gè)名字。