事实经过：
爷爷大约60多年前与关系良好的当地糖厂借宿舍土地盖屋，
一家人就一直居住在那里并耕作邻近的自有农地，
大约20年前时糖厂因缺钱，并未告知我们家就将地卖给香港的炒地大户。
几年后家父有听说这件事，但他选择鸵鸟心态的装做没这回事。
两年前香港地主出现希望我们出钱将土地购回，
我们也愿意购买，
但是他们提出一份鉴价报告并开出高出当地金额许多的价格，
我们家境并不宽裕，难以负担这样的价码。
在我详读鉴价报告后发现该份报告同时鉴价多笔土地，
而我们想购买的那块地照片完全错误，
看起来是鉴价士搞错地点拍成地点较好也较平坦的别人家了。
告知对方这件事后对方拒绝认错，也不肯让我们另找鉴价单位鉴价，
还是要我们用高于邻近土地的价格购买。
我们也有提出实价登录网站中邻近的土地价格资料据理力争，仍然无效。
（附近的平坦建地每坪 2536元/坪；距离城镇中心较近且邻近省道的山坡地 2311元/坪；
对方开出的价码为 2850元/坪，
但我家想购买的土地除了房子之下的部份有整平，
其他大部分都是月世界那样的地形，难以做其他利用，地目亦非建地，
我们提出愿意用3000元/坪仅购买房屋下的部份而不购买荒山的部份，还是被拒绝）
对方给的两个选项是：
1. 接受以 2850元/坪 的价格购买整块土地，
2. 出钱承租此地2年后迁出并归还，
但我们难以负担此高价，也不想花钱租地又一无所获。
问题：
因房屋是很久以前建的，20年前左右有翻修过一次，
虽有门牌水电，但没有建号是否就算是违建？
假如不想被迫以此价格购买，
能否能主张拥有地上物并请对方循法律途径解决？
我们并不想耍赖，
目的只是希望对方因嫌麻烦而愿意开出较合理的价格，
（希望不要超过2500元/坪，经济上较能负担），
想知道若这样做的话是否有可能被判补缴租金给地主的可能性？
如果不会被判补缴租金的话，
顶多就是被判迁出该地是吗？或可能会有更严重的后果呢？
（想要赌赌看能压到负担得起的价格的话就购买，
失败不至于太惨的话，
即使买不起地也能筹钱在邻近的自有农地上盖个简陋的农舍给双亲住...）
先感谢各位协助解惑或提出建议，如内容尚有不足，盼请提出需补充之处。