事实经过：
家父十年前买了块乡下的地，地上建筑物为早在民国84年前的既有建筑，此地被法拍后是经过三手买卖才到家父手上。
谁知买到是非之地，某男因没能力买此地（原为家产），就怀恨一直想尽办法找我们麻烦（一天到晚找名目告我们，虽然都没被告成，但看家父跑法院也是心力憔悴）
近期检举我们的建筑物农牧地没有农用，属于违建，因此要改善（拆除）或罚款。
复杂的地方是：
建筑物内部约有3坪属于他的地，但先前法院判既有建筑所以我们有使用权，除非我们进行建筑变更才要归还（有主动要跟他付租赁的钱但他不接受）
问题：
1. 请问如果违建罚款，按照他持有的土地坪数，他是否也须按比例被罚呢？
2. 若是他执意把他的坪数部分的建筑拆掉，是否有构成破坏呢？
先感谢各位帮 小弟/小妹 解惑或提出建议，如内容尚有不足，盼请提出需补充之处。