各位高手, 有个问题想跟大家请教,
目前有个需求我有一个web site 绑了两组domain,
但是我只有其中一组domain想开放给各大搜寻引擎爬,
请问我是否能够透过.htacces去做处理?
ex. web site: xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
a.arptest.com (CNAME) xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
(a.arptest.com 这组domain 可被搜寻引擎SEO)
b.arptest.com (CNAME) xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
(b.arptest.com 这组domain 不想在网络上被搜寻引擎爬到)

robot.txt?

google geoip white list然后用limit request coonect 模组挡加记log最后再装爬log 应用去做最后判断要不要加到iptables这样可以挡两层 加省内存

听说是防君子不防小人