先整理一下：
IP: 1.2.3.4
www.example.com in A 1.2.3.4
example.com in A 1.2.3.4
mailgun.com in A 1.2.3.4
mg.example.com in A 1.2.3.4
提供 http 服务的是 www.example.com
提供 smtp 服务的是 mailgun.com
首先，你的问题和 dns 没有直接关系(细节你有兴趣的话再另外说)
因此你第一个要处理的不是 dns
你的问题是
1.怎么让同IP的mg.example.com不要连到论坛呢?(这个Hostname想要只有寄信)
因此你应该
1. config http server，只对 hostname www.example.com 有回应
nginx 设定可参考这个连结
http://blog.faq-book.com/?p=4645
"在virtual.conf 最后加入以下设定，并针对个人需求修改"
server {
listen 80;
server_name www.example.com
}
也可以参考
server {
listen 80;
server_name www.faq-test.tk;
rewrite ^/(.*) http://faq-test.tk/$1 permanent;
}
将其他的网址，重导到 www.example.com
建议你测看看再把设定及测试结果回复，大家比较容易帮你
2.另外一个不确定正确与否的，伪静态规则或者rewrite那些是直接新增到
/etc/nginx/sites-available/*.conf吗?(我目前是这样用)
还是要自己到/etc/nginx/conf.d创一个conf文件新增才正确? (作业系统是Ubuntu
14.04)
可以 work 表示就可以用，新手不用太在意这个，等你目前的问题解决了再去爬文就好