一個標(biāo)準(zhǔn)完整的網(wǎng)站上，基本都會配備上站點(diǎn)地圖、robots文件之類的，它們的功能都是為了更好的讓搜索引擎抓取網(wǎng)站內(nèi)容，提升網(wǎng)站的抓取速度，那么，站點(diǎn)地圖以及robots文件到底是什么呢？
一、站點(diǎn)地圖是什么？
站點(diǎn)地圖是一種可以為百度蜘蛛爬行網(wǎng)站時指示出信息資源方位并具有導(dǎo)航功能的一個工具，將網(wǎng)站中的關(guān)鍵信息以可視化展現(xiàn)在搜索引擎面前，一般關(guān)鍵信息分為信息獲取、信息檢索、信息表示以及信息關(guān)聯(lián)這四個方面，就是將這些內(nèi)容以一種類似于地圖的形式，將網(wǎng)站的信息羅列出來并附帶上對應(yīng)的鏈接，為用戶與百度抓取蜘蛛提供網(wǎng)站的主體信息以及準(zhǔn)確信息入口的工具，所以被通俗稱之為站點(diǎn)地圖。
站點(diǎn)地圖的特點(diǎn)：
1.可視化
網(wǎng)站地圖的可視化是它非常突出的一個特點(diǎn)，雖然我們常見的網(wǎng)站地圖內(nèi)容都是以文字表達(dá)的，但是它是以一個地圖的展現(xiàn)形式出現(xiàn)的，可以清晰明了的表達(dá)出各個頁面之前的關(guān)系。
2.持續(xù)
當(dāng)用戶點(diǎn)擊開站點(diǎn)地圖之后，可以使用戶對網(wǎng)站的信息一目了然，并且在站點(diǎn)地圖中所有對應(yīng)的文字都會配上對應(yīng)的鏈接，使用戶可以點(diǎn)擊鏈接從而進(jìn)入自己想要進(jìn)的欄目，使用戶更加精準(zhǔn)的找到自己想要的信息。
3.同步實時更新
站點(diǎn)地圖有這么一個功能，就是會跟隨網(wǎng)站上的內(nèi)容信息，實時進(jìn)行一個地圖更新，它隨著網(wǎng)站變動而變動，與網(wǎng)站上整體內(nèi)容保持一致，使用戶在站點(diǎn)地圖中隨時獲得最新網(wǎng)站信息。
二、robots是什么？
Robots協(xié)議也可以稱呼它為爬蟲協(xié)議或者機(jī)器人協(xié)議，這里要注意的是，robots協(xié)議可不是一個指令，而是一個txt文本，robots.txt是百度搜索蜘蛛來到網(wǎng)站時第一個需要查看的文件,蜘蛛將根據(jù)robots.txt文件來判斷網(wǎng)站上哪些內(nèi)容可以抓取，哪些內(nèi)容是不允許被抓取的。
robots.txt的作用：
在對網(wǎng)站進(jìn)行優(yōu)化的時候，我們都會使用robots.txt文件來把網(wǎng)站上哪些想要被搜索引擎抓取或者不想被搜索引擎抓取，通過robots文件來表達(dá)給百度蜘蛛，百度蜘蛛也會根據(jù)robots文件來進(jìn)行爬行抓取網(wǎng)站。
