【Google Search Console】设定SEO robots.txt文件，告诉搜索引擎哪些网页不适合关
键字搜寻
网志图文版：
https://www.b88104069.com/archives/4510
robots.txt是网站SEO重点文件，本文以赞赞小屋网站的Google Search Console涵盖范围
报告为实际范例，介绍robots.txt文件的作用以及如何编写，可以提高网页收录和关键字
搜寻的效率。
一、Google Search Console涵盖范围
登入Google Search Console之后，左边字段选择“涵盖范围” ，这里共有四个类别，将
光标移到每个类别右下角的问号会有相关说明，其中“有效”指的是Google已经建立索引
的网页，意思是网站有948个网页文件被收录在Google图书馆，当有人搜寻和网页有关的
关键字，Google会考虑呈现该网页，网站SEO便是致力于提高被Google选中的机率。
二、详细资料
同一页面下方的详细资料中，有效状态的网页又分成两个类型：“已提交并建立索引”和
“已建立索引，但未提交至Sitemap”。已提交Sitemap意思是自己有写好一份网页目录提
交给Google参考。此时我的Wordpress总共有891篇文章，也提交了Sitemap，Google只收
录869，没有照单全收这倒是可以理解，但是有79篇不在我目录里面，Google却帮我建立
索引了，这比较奇怪，为了网站SEO有必要进一步了解，点击进入明细清单。
三、已建立索引，但未提交至Sitemap
看了明细比较清楚。“https://www.b88104069.com/profile”是赞赞小屋网站的介绍页
面，“https://www.b88104069.com/”是网站首面，因为我是利用PHP程式让Wordpress自
动产生Sitemap，只会有文章页面，这两个页面确实会漏掉，Goggle帮忙收录最好。
其余网页以“https://www.b88104069.com/archives/date/2015/03/page/6”和“
https://www.b88104069.com/archives/author/b88104069/page/60”为典型，从网址结
构大略可知是依照日期和作者的分页目录，日期还有些久远，这应该我以前有设定过相关
网站机制，现在已经不用了，没想到Google还留着。
四、网站分页目录
实际浏览网页，果然和我猜想的一样，像这样的网页目录页面其实并没有全部文章内容，
如果真的出现在搜索结果，读者点进来发现不如预期的话，马上离开，这个讯息会反馈到
Google那里，Google因此会降低网站分数，对于SEO不是件好事。
五、robots.txt文件
这种事读者不高兴、Google不想要、我当然也不喜欢。为了有效避免，SEO技术中有一种
robots.txt文件，可以很清楚告诉各家搜索引擎，网站中有哪些网页并不是要给读者的，
如此一来，提高了网络读者的使用者体验，同时也增加搜索引擎收录效率。以Goggle为例
，www全球资讯网这么多网站网页，如果能预先知道哪些没有必要收到图书馆中，大大减
轻馆员工作负担，利己利人。
robots.txt文件必须放在网站入口、亦即网站根目录，没有架过网站的读者，把网站想成
电脑资料夹、网页是资料夹里的文件，应该会比较容易理解。截图是赞赞小屋网站范例，
第一次看可能难以理解，同样以电脑文件，Windows里面有很多系统文件和使用者操作无
关，网站也是如此，可想见会有很多网站运作有关的程式文件，这里很多的“Disallow:
”就是要避免这些技术被Google收录为www网页，类似于Windows系统隐藏文件的效果。
六、Search Console说明
由于对双方有利，Google在Search Console说明中心提供很多robots.txt的说明文件，具
体到完整语法和示例语句，有兴趣读者可以参考。
七、遭到robots.txt封锁
到这里已经基本了解robots.txt文件，回到第一步骤涵盖范围中有个“排除”，有2976个
之多，其中237个是被robots.txt文件挡掉的网站文件，可想见如果没有robots.txt的话
会很麻烦。
以第一个被排除的网页为例：“
https://www.b88104069.com/archives/category/journey”，这是分类页面的网页，参
照第五步骤的“Disallow: /archives/category/”，robots.txt的实际作用和如何设定
应该很清楚了。
八、robots.txt的Disallow设定
终于到达本文最后步骤，依照Google Search Console的索引报告相对应修改robots.txt
文件：“Disallow: /archives/date/”、“Disallow: /archives/author/”。
这篇文章出现了几次Sitemap，从Google Search Console网站工具上便可知道SEO少不了
Sitemap，以后在系列文章会再作介绍。另外在涵盖范围的报告中有很多类别，这篇文章
是集中在robots.txt排除的部份，其他部份同样留后往后的系列文章。
延伸阅读：
Google Search Console除了网站搜寻量，可查询网页关键字排名报告，转Google文件或
Excel
https://www.b88104069.com/archives/4484
Google Analytics网站分析与Google Search Console网站排名，两大工具资料共用容易
卡死的盲点
https://www.b88104069.com/archives/4430
Google Adsense广告拖慢网站速度不利SEO？删掉重复的网页Async Script异步程式码
https://www.b88104069.com/archives/4420