Robots Exclusion Protocol
Google Webmaster Central Blog 昨天發表了 Formalizing the Robots Exclusion Protocol Specification 這篇文章，介紹到 Robots Exclusion Protocol (REP) 這個正在標準化的草案，REP 其實就是已經被廣泛使用的 robots.txt 檔案，robots.txt 誕生至今已經 25 年了，當初是由 Martijn Koster 所設計，早期網路的東西基本上就是先做，設計的不錯大家就跟著抄，不一定會有什麼標準的文件，robots.txt 就是這樣其實一直都沒正式的標準文件，我以前還真的有懷疑過怎麼找不到，直到 Google 這篇文章才確定了，真的一直以來是沒標準的，雖然 Google 衝網路標準太快讓人有不少意見，不過這次我倒是覺得樂觀其成，而且他們也還公開了他們的 robots.txt 的 parser matcher lib。