Ребёнок не хочет чтобы мужчина был с его матерью.

Доброго времени суток, уважаемые коллеги. Хочу попросить совета в непростой ситуации. Сошлись жить с женщиной, у нас с ней в отношениях всё хорошо. Но у неё есть сын, ребёнку 8 лет. Ребёнок плохо настроен на то, что я живу с ними. Его мать год как в разводе с его отцом. Отец живёт рядом, в одном посёлке. По выходным ребёнок постоянно гостит у отца дома. Отец его любит и хорошо к нему относится. Гуляют вместе, он покупает ему постоянно подарки, одежду, игрушки. Кроме этого, платит во время алименты. Со мной ребёнок если остаёмся с ним наедине, закатывает истерики, не слушается, делает мне всё на зло, на замечания кричит мне что я ему никто, и он меня слушаца не будет. Делает гадости, например выходя первее всех из дому однажды захватил мои туфли и выбросил их на улицу. Я пытался с ним наладить отношения, гуляли вместе, карусели, цирк, покупал подарки. Во время прогулок он ведёт себя хорошо, но в целом отношение ко мне не меняет. И так уже пол года. Мне уже это всё надоело, уже думаю зачем оно мне нужно, уйти и пусть ребёнок будет счастлив. От него постоянно жду гадостей, уходя из дома забираю паспорт, потому что он его может выбросить или сжечь. Её люблю, но так жить надоело. Может есть варианты как найти язык общий с ребёнком? Или лучше уйти?