Favicon02

不想被索引該怎麼做?不被索引的四個方法|索引技巧

如果我就是不想被索引,那該怎麼辦呢?今天就來跟大家討論網站不想被索引的方法。

正常來說,我們都希望網站內容被索引,因為有越多的索引,代表有越多的排名機會。

但如果我就是不想被索引,那該怎麼辦呢?今天就來跟大家討論網站不想被索引的方法。


什麼狀況不想被索引?

什麼情況下會不想被索引呢?這邊我列舉幾個常見的狀況。

  • 過時的網頁:網頁內容可能過時,但又有留存的需求,因此不希望被索引。
  • 限定對象內容:這個網頁可能只對特定人公開,像是只給某些貴賓的報名頁面,不希望一般人能在搜尋結果找到這個頁面。
  • 未公開的內容:有些內容尚未正式發布,不能提前被搜尋引擎曝光。
  • 隱私內容:網頁內容包含消費者、個資,不應該在搜尋引擎被展示。
  • 個人原因:基於個人原因,網站主不希望被索引。

延伸閱讀:《SEO 自學大全:一篇就搞懂 SEO,完整說明 SEO 的底層邏輯


要如何不被 Google 索引?

要如何不被索引,可以分成爬取前、爬取、索引,三個階段各自有能處理的方法。


1. 爬取前將內容從網路移除

一個最簡單的作法,就是連被爬取的機會都不要有,這樣內容就不會被索引了。

像是網頁內容需要權限才能讀取、網頁內容只存在內部網路中、前端與後端分離,這樣受保護的內容都沒有機會被 Google 索引。

另一方面,如果這個內容你認為不應該在 Google 被看到,那麼它搞不好也不應該在你的網站被看到,你可以直接從網站上移除這樣的內容,把內容下架,永遠根絕後患。

一個不存在的網頁,就不用擔心會不會被索引了。

  • 處理方案:跟 Google、網際網路隔絕,前端與後端分離,連爬取的機會都沒有
  • 不被索引效果:最好

2. 利用 robots.txt 避免 Google 爬取

前面我們教過 robots.txt,就能限制爬蟲不要爬取特定頁面,當沒有爬取,自然就沒有索引行為發生。

但這個方法最大的風險有兩個:

  • robots.txt 的疏漏:爬蟲未必會尊重你的規則,有時候還是會不小心在搜尋引擎看到。
  • 外部連結的爬蟲:儘管從你的網站爬不到你的內容,但如果爬蟲從別的網站的連結,順藤摸瓜,不小心爬到內容,還是有機會被索引。這是因為別的網站還是可以爬取,沒有被限制。

因此 robots.txt 這個方法可以處理掉大多數不想被索引的頁面,但不能說是十全十美的;robots.txt 控制的是應不應該爬取,但還是有機會因為別的原因造成索引。

  • 處理方案:利用 robots.txt 避免爬取
  • 不被索引效果:還不錯,但有漏網之魚

延伸閱讀:《robots.txt 介紹:什麼是 robots.txt?對於 SEO 有何效果?


3. 利用 noindex 標籤,避免索引

在網站中有一種標籤叫做「noindex」,這種標籤顧名思義,就是 no+index,不要索引的意思。

當一個頁面上掛著 noindex 的標籤,就是直接發給爬蟲一張好人卡,告訴爬蟲我們之間不適合,請離開我吧。

所以在 Google Search Console 的網頁索引報表中,noindex 也是一種問題,會顯示成:「網址含有 noindex 標記」,因為這樣就不能被索引了。

因此,如果有哪些網頁你很不希望被索引,就利用 noindex 標籤吧。但如果你希望網頁被正常索引,可千萬不要誤用到這個標籤。

需要提醒的是:這些標籤對於搜尋引擎來說都是參考性的,因此總是有意外,有時候搜尋引擎就剛好鬧脾氣不遵守規則,因此如果真的是千千萬萬不可以洩漏給搜尋引擎的資料,還是老老實實用密碼或其他權限保護吧!

  • 處理方案:noindex 標籤
  • 不被索引效果:好,偶爾有意外

延伸閱讀:《noindex 介紹:什麼是 noindex?對於 SEO 有何效果?


4. 利用移除網址工具

Google Search Console 有個功能是將特定的網址從 Google 搜尋引擎移除索引,叫做「移除網址工具」。

但需要注意的是:此工具只能「暫時」移除網址,效果可維持約六個月,如果希望永久移除索引,還是需要靠上面的方法。

這個方法是應急用的,可能網站被駭入之類的情況,避免一些糟糕的網址被索引,正常情況不太會使用。

移除網址工具位置:Google Search Console>左側欄位>產生索引>移除網址。

  • 處理方案:移除網址工具
  • 不被索引效果:好,但只是暫時性

工商時間

如果你想要更系統化、更輕鬆的學好 SEO,推薦你參考我與知識衛星合作的 SEO 線上課程《SEO 排名攻略學:從產業分析到落地實戰,創造翻倍流量》。

這是我的 SEO 集大成之作,讓你從入門到精通,附贈實戰模板跟檢核表,讓你真正學好 SEO。


重要提醒:noindex 與 robots.txt 不可同時使用

前面講了 noindex 跟 robots.txt 都能達到讓特定頁面不被索引的效果,這個時候聰明的人會想到:那麼我兩個一起用,效果一定更好吧!

答案很可惜,這兩個 1+1 不但沒有大於 2 的效果,還會產生 1+1=0 負面影響!

因為 robots.txt 的效果會讓爬蟲不能讀取該網頁,因此該網頁身上的 noindex 也不會被爬蟲讀取到,所以爬蟲不會認為此頁「不能被索引」。

如果上述這段你覺得有點複雜也沒關係,總之不想要被索引選 noindex;不想要被爬取,選 robots.txt。

為什麼 robots.txt 與 noindex 不能同時使用?


如果不是我網站的內容,要如何避免索引?

有一種常見的狀況,可能是基於隱私、維護自身權利等原因,希望別人網站的內容不要出現在搜尋引擎上,我們可以怎麼做呢?

請對方下架

這是最直接的方法,直接寄信請對方下架內容;若法理上有依據的話,你也可以請法律團隊協助。

要求 Google 下架

在很特殊的情況下,第三者是有機會要求 Google 把特定網址取消索引的,這個狀況多半跟色情內容、非自願性內容有關。其他狀況包含:版權侵害、商標侵權、法院命令等。

你可以透過《要求 Google 移除特定資訊》跟 Google 提交申請。


工商時間

如果你想要更系統化、更輕鬆的學好 SEO,推薦你參考我與知識衛星合作的 SEO 線上課程《SEO 排名攻略學:從產業分析到落地實戰,創造翻倍流量》。

這是我的 SEO 集大成之作,讓你從入門到精通,附贈實戰模板跟檢核表,讓你真正學好 SEO。

Frank Chiu
Frank Chiu

SEO 顧問、行銷顧問。協助本地企業與跨國企業導入 SEO 跟行銷方案,包括:雀巢、凱基銀行、大人學、居家先生、IKEA、Vocus 等。

訂閱電子報