Как лишить гражданского мужа родительских прав в сложившейся ситуации?

Со своим гражданским мужем прожили 7 лет. Имеем сына - 6 лет.

Проживаем в квартире мужа. Работа мужа связана с длительными командировками. Сын родился, когда он был в очередном отъезде, поэтому все трудности по воспитанию ребенка легли на мои плечи. Зарплатой он тоже особенно не делился, поэтому пришлось выйти на работу, когда ребенку было 1,5 года, и нанять няню. Прописывать своего сына в своей квартире, в которой мы все проживали, муж отказался. А теперь он решил нас выгнать из своей квартиры. У меня есть своя жилплощадь, поэтому я на его жилплощадь не претендую, и спокойно собираю вещи. Волнует вопрос лишения мужа родительских прав. Жизнью сына он практически не интересуется, занимается только собой. Интересы ребенка ему безразличны, хотя делает вид, что это не так. Делает всё наперекор желаниям своего сына, т.е. специально дразнит его, в связи с чем у ребенка возникают истерики.

Я каждый год вывожу ребенка на море. Если отпуск выпадает на холодное время года, то летим за границу. Соответственно ежегодно мне будет нужно разрешение от отца на вывоз ребенка. А с таким отношением к своему ребенку он разрешение не даст, тем более он часто бывает в командировках. А такие разрешения оформляются специфично: нужно указывать страну и приблизительную дату заезда. Другого выхода, как лишить отца родительских прав, у меня, похоже, нет.

Как это это можно сделать?