买卖合约已成立
买方和卖方在谈价格时卖方有提出回租需求
卖方同意后成交并于当日签立买卖契约书
因仲介提出若将回租合约并入买卖契约书 将会影响买方贷款
所以三方口头约定于预定交屋日前拟定租约
但在签约日后 卖方父亲电话要求解约不卖（所有权人为儿子）
大闹一场之后 儿子还是同意继续履约
但买方对卖方失去信任 提出不回租的要求
此时卖方坚持要回租 且租约为交屋日之后四个月（十一月）
但买方和仲介当时是约定回租至九月（签约日之后四个月）
现在两方谈不拢 卖方不想搬走 仲介也不认为是他们传达上的错误
想请问我们买方 若不继续履约拨款给卖方会有什么法律上的责任？
或是若继续履约拨款 对买方来说虽然拿到所有权状
但感觉卖方会是个无法搬走的房客
在法律上我们应该如何处理才能万无一失呢？谢谢！