想请教以下状况是否能达到不抚养父亲的标准
因为父亲不是典型那种会肢体暴力或欠债的情形所以想请教下各位
我小时候最困扰的问题就是别人问我爸爸是做什么的，我从来不晓得我爸是做什么的，从小三后我的记忆里家里每天都在为了钱吵架，我几乎没印象他有拿钱给我妈过
小时候家里每天都有一群我爸的狐群狗友在家泡茶喝酒喇猪屎，这群人也没有闹过任何事，只不过我爸每过一阵子会换一群朋友，因为他过一阵子说的谎就会被戳破，而这群人就会离开，他会再说另一些谎吸引另一群人，而是的，我爸有钱花用买酒买茶，但没钱养家
在小时候父母吵架是家常便饭，妈妈拿刀想砍我爸也是见怪不怪，总之所有的原因就是没拿钱回家，但要说他完全不好也不是，他还是会接送我们，叫我们吃药，基本还是正常人
就这样一直到大学毕业，我亲戚把爷爷奶奶的积蓄全部败光，所以我们搬出爷爷奶奶的房子和土地到我妈买的公寓住，然后我爸也跟着我们一起住，并声称自己断绝与爷奶的关系，爷奶也搬离原本的房子，自此我爸拒绝告诉我们爷奶住哪里，当然他也从没奉养自己的父母，他怨恨自己的父母
就这样一直过日子，过了好几年，我爸其实是不菸不酒不跟我妈拿钱的人，虽然有少许偷我们钱的行迳，但其实也不是很常发生，金额也是很少，他每天就是在家里，看电视，冰箱有什么就吃什么，我平常对他是采无视的态度，他有钱缴手机费用和加油骑车出去玩，当然他为什么有钱缴费用我也不清楚，问他，他会有10种答案，或是他会不说话
总之，我爸赚钱是他的娱乐用，吃家里的，用家里的，他不会付钱，从小到大都是这样，他对我们没有不好，顶多偶尔言语攻击，但我们也攻击回去，家里没东西吃会稍埋怨，但也没有太夸张，一切都是在一个还算可以忍受的状况下，简言之，一个很会说谎但言行有点克制的吃软饭的男人或说是陌生人，已一辈子都是这样了
但随着年龄渐长，将来他势必会有医疗花费，这种状况若小孩老婆不想照顾他，会有法律问题吗？会有弃养的状况发生吗？
这真的是很难判定的问题，我们可以因为他不算太夸张就让他吃用，但如果从小到大都没有花费在我们身上，那未来要我们花费在他身上，这样是合理的吗？
因为在网络上找到的案例都不会是这种温水煮青蛙的案例，像这样我要如何面对？
谢谢