Как определить проживание детей после разрыва отношений с бывшим мужем?

Живу с бывшим мужем, хочу уйти от него. Были в браке, развелись в 2006 году, старшему сыну сейчас 12 лет. Потом помирились, долгое время были в гостевом браке, сын жил полнедели у меня, полнедели у бывшего мужа. В 2012 году стали жить опять вместе, в 2013 и в 2015 году у нас родились еще 2 сына. Дети рождены не в браке, отцовство установлено. Сейчас проживаем все вместе в его трехкомнатной квартире, здесь же все и прописаны. У меня в собственности есть двухкомнатная квартира. Я сейчас нахожусь в декретном отпуске, доход мой 15 т. р., который мне будут платить до 1,5 лет младшего сына. У мужа официальный доход 25 т.р., хотя в реальности намного больше (свой бизнес). С мужем отношения очень плохие, хочу с детьми уйти жить к себе. Муж выгоняет только с младшим (тк он на грудном вскармливании), а среднего и старшего не отдает, мотивируя, что они прописаны у него, с ним и жить будут. И младшего грозится забрать, как только закончу кормить. Я веду здоровый образ жизни, у меня нормальная работа со средним заработком (госслужба). Хотела бы узнать, когда лучше мне начинать дело по определению проживания детей со мной, сейчас, пока средний и младший маленькие или когда я выйду из декретного отпуска и буду иметь доход? Что вообще муж сможет сделать, если я просто с детьми уйду к себе в квартиру? Сможет ли он куда либо обратиться и детей у меня заберут, ведь они не прописаны в моей квартире?