想请问大家，当初离婚协议共同监护
小孩前夫带回去
但前夫带回去后都丢给他爷奶带
小孩所有事情都是奶奶负责，奶奶出面
教功课，教养都是奶奶
现在奶奶身体不好，前夫也无力照顾小孩
我将小孩带回抚养
并说明以后固定都由我带，
不会再回去给他们带了，
因为他们已经变成隔代教养
我跟前夫说既然这样请他放弃监护权
这样以后很多事情我自己办也方便
不然现在每次小孩的事都要两人一起出面
但他根本不会出面都他妈妈代表
他也觉得ok并答应放弃监护权
请问如果两人都同意由本来的共同监护改成一人监护的话
需向法院申请变更吗？
还是两个人去户政事务所办理就好?