robots.txt 是什麼？SEO 的第一道守門員
robots.txt 是什麼？
robots.txt 就是在網站門口貼的一張告示牌，告訴搜尋引擎：哪些地方可以看、哪些地方不要進來。
它不是用來「幫你加分」的工具，而是負責避免被扣分、避免浪費搜尋引擎資源。 在 SEO 的世界裡，它更像是守門員，而不是得分手。
先不要想技術，先想像一個很生活的場景
把你的網站想成一棟大樓。
這棟樓裡面可能有對外開放的大廳與展示空間，也會有只給內部人員使用的倉庫、管線間與管理室。對一般訪客來說，他們只需要看到展示的部分；對搜尋引擎也是一樣。
搜尋引擎每天都會派出爬蟲，像巡邏員一樣拜訪你的網站。robots.txt 的角色，就是貼在門口的告示牌，上面寫著哪些區域歡迎參觀，哪些區域請勿進入。
這張告示牌並不會影響大樓的美觀或價值，但它能避免巡邏員走錯地方。
robots.txt 是什麼？為什麼位置這麼重要
robots.txt 是一個純文字檔案，而且一定要放在網站最外層的根目錄。
https://example.com/robots.txt
對搜尋引擎來說，造訪一個網站時的第一個動作永遠是：
- 抵達網域
- 讀取 robots.txt
- 再決定要不要爬、要爬哪些路徑
也就是說，robots.txt 是整個 SEO 流程中的第一關卡。如果這一關就給錯訊號，後面的內容再好，也可能根本沒被正確看到。
robots.txt 到底在控制什麼？
新手最容易搞混的一點是：robots.txt 不是在控制「收不收錄」，而是在控制「爬不爬」。
簡單整理可以這樣理解：
robots.txt 可以告訴搜尋引擎哪些路徑不要來抓資料，但它並不能直接命令搜尋引擎「這一頁不准出現在搜尋結果」。排名高低，更完全不是它的工作範圍。
你可以把 robots.txt 想成交通管制，而不是成績開關。
一個最基本、最常見的 robots.txt 範例
User-agent: *
Disallow: /admin
Disallow: /api
這段設定的意思是：
對所有搜尋引擎爬蟲來說，請不要進入 /admin 與 /api 這兩個路徑。
這類路徑通常是後台、系統或資料接口，對搜尋使用者沒有實際價值，也不該被公開索引。
為什麼「完全不設定 robots.txt」反而有風險？
很多人以為沒設定就是「全部開放」，但實際上，這樣反而容易讓搜尋引擎把力氣用錯地方。
第一個問題是爬蟲資源浪費。搜尋引擎會分配給每個網站一個有限的「爬蟲預算」。如果它把時間花在 API、測試頁或草稿頁上，真正重要的內容反而可能爬不完。
第二個問題是不該曝光的頁面被看到。像是後台登入頁、測試環境、篩選組合頁，這些頁面對使用者沒有幫助，還可能被視為低品質內容。
第三個問題是整體 SEO 訊號被稀釋。當搜尋引擎看到大量重複頁、空頁或系統頁時，會降低對網站整體品質的信任程度。
robots.txt 在這裡扮演的角色，就是第一道「剪枝工具」。
一個很重要的觀念：robots.txt 不是安全機制
robots.txt 只是一張告示牌，不是上鎖的門。
它的意思是「請不要看」，而不是「你不能看」。只要有人知道網址，仍然可以直接打開該頁面。
因此，任何機密資料、管理介面或敏感資訊，都不應該只靠 robots.txt 來保護，而必須使用真正的權限控管或驗證機制。
robots.txt 和 canonical 的完美對照
如果你已經理解 canonical，那 robots.txt 其實很好對照理解。
robots.txt 處理的是「哪些地方不該被爬」，canonical 處理的是「哪些內容才是正版」。前者發生在爬取之前，後者發生在搜尋引擎分析內容時。
它們解決的是不同層級的問題，彼此並不衝突，而是互補。
為什麼在 Nuxt 或前端專案中特別重要？
前端框架非常容易自動產生大量「對使用者沒意義，但對爬蟲很有吸引力」的路徑，例如建置用資源、內部資料檔或各種參數組合網址。
如果沒有 robots.txt 先做基本控管，搜尋引擎往往會把注意力放在這些頁面上，而忽略真正的內容頁。
在內容型網站或教學部落格中，這一點尤其明顯。
結論
如果你現在只記得一句話就好：
robots.txt 的角色不是讓排名變高，而是避免搜尋引擎「看錯地方、看太多、看不該看的」。
只要把它設定好，你的內容就更有機會被用在「對的地方」。
參考資料
- Google Search Central – Robots.txt 規範
https://developers.google.com/search/docs/crawling-indexing/robots/intro - Moz – Robots.txt Beginner’s Guide
https://moz.com/learn/seo/robotstxt - Ahrefs – Robots.txt SEO Best Practices
https://ahrefs.com/blog/robots-txt/