我算假日妈妈 儿子目前4岁2个月
从小就给婆婆带（在台北） 我假日才接回林口
但从去年3岁起 就常发生不愿意跟我回家的状况
或是好不容易骗回去了 却ㄧ直哭要找阿妈
后来才发现 是因为他生气我们太少去看他
后来我平日就改住婆婆家 状况改善很多
但他平日还是习惯跟阿妈睡
我就改从假日妈妈变成假日夫妻
晚上是ㄧ个人睡的 其实也颇觉委屈
因为特别来婆家住 却没办法跟小孩睡
等于是下班后在他睡前陪玩的工具人
在婆家 他脾气也比较大 容易讲不听（因婆婆很宠）
我也不打小孩 若有口角我很容易脱口威胁他说
"你都不听我的话 那我不要回来了喔！"
他就会怕 然后比较听话点
但我知道这不是办法 而且威胁能威胁到多久呢？
不过因觉得委屈 也常控制不住会这么说
最近因为有2个假日的下午跟老公去看电影把他丢在我娘家
是有人陪他玩的 不是就丢著而已
但他还是哭着跟我分开（票已订好 没办法退）
加上我们又出国4天 没带他去
这下好了 又开始不跟我回家了
从开始去看电影就会不跟我回去
出国回来更严重
刚刚他不肯睡觉 我骂他 他又在闹脾气
我又说 你都不听我话 我不要回来了
他居然也反激我 我也不要跟你回家了
请问我该怎么做好？
长时间做假日夫妻 其实感情也会有差
我也因住婆家觉得没什么自己的空间很委屈
花了钱买的房子却没办法住
但平日若回家 我儿就会生气 那周又不跟我回去了
现在他也会在生气时直接说 我不回去了
我该怎么处理？
大部分他哭着不回家 我会视情况让他留在婆家
若没像最近这样（我不在时间太多）
大部分还是骗的回去的
最近就真的没办法了 还哭到狂抽蓄
该怎么样才能避免：
1. 我威胁他（有其他教养话术吗？）
2. 不跟我回家
实在越来越困扰了！请大家帮忙给点建议好吗？
谢谢！