一、Robots功(gong)能：用(yong)于(yu)約定(ding)允許，還是禁止搜索引(yin)擎抓取(qu)(qu)網站內容。二、概念(nian)：Robots協(xie)議(yi)（也稱為爬(pa)(pa)蟲協(xie)議(yi)、機器人(ren)協(xie)議(yi)等）的全(quan)稱是“網絡爬(pa)(pa)蟲排(pai)除標(biao)準”（RobotsExclusionProtocol），網站通過(guo)Robots協(xie)議(yi)告訴(su)搜索引(yin)擎哪些頁(ye)(ye)面(mian)可以抓取(qu)(qu)，哪些頁(ye)(ye)面(mian)不能抓取(qu)(qu)。三、…
小米
