Как грамотно поступить? Если оформлю доверенность на бабушку и оставлю его с ней,

Помогите, пожалуйста. Я проживала с мужчиной, официально зарегистрированных отношения с ним не было. Родила ребёнка, установили отцовство. 1,5 года назад жить вместе перестали. Добровольно сошлись на том, что ребёнок будет продолжать ходить в сад где раньше жили и 5 дней в неделю будет с папой, а я забираю на выходных. Так было до определенного времени. Отец ребёнка заявил, что больше сидеть не будет с сыном и возвращает его обратно. Так как я работаю, то просто физически не могу забирать и отводить ребёнка в сад. Перевела его в другой, по месту жительства бабушки. Бабушка сидеть с внуком согласна и даже «за». Тут отец ребёнка стал против и грозится лишить меня родительских прав. Может среди ночи приехать и забрать ребёнка, потому что просто принцип и имеет полное право. Отец ребёнка не имеет официальный доход и свою жил. площадь, недавно получил вид на жительство. Я сейчас устраиваюсь официально, хотя работаю в этом месте 2 года уже и проживаю в квартире маминого мужа, не снимаю. Могу ли я как-то аннулировать установление отцовства и получить 100% права на ребёнка? Папа сына регулярно угрожает забрать ребёнка, всячески оскорбляет меня и мою семью, собирает какие-то справки против нас. Причём на алименты не подавала, устной договорённости о помощи финансовой нет, он и не собирается как-то помогать. В идеале хочет, чтоб я не работала и сидела с ребёнком и не важно на что мы будем жить. Как грамотно поступить? Если оформлю доверенность на бабушку и оставлю его с ней, то он может все равно приезжать и забирать ребёнка когда угодно?