Как ограничить права бывшей жены и ее любовника касательно общения с моими детьми?

Прожил в браке 10 лет. Во время брака родилось трое детей. Старшему 11 с половиной, средней 8 с половиной, младшей три годика.

До разврда с женой мы заключили мировое соглашение касательно осуществления род. Прав. Где дети полностью переходят к маме с условием что раз в недели по воскресеньям либо в другой день недели по согласованию родителей мать обязуется давать детей папе. И всё бы хорошо, но ряд событий заставил меня обратиться к вам за помощью. Во первых бывшая жена перестала давать самого младшего ребёнка под различными предлогами, но в концовке всё объяснилось тем, что ребёнок не от меня, экспертизу её биологического отца она мне предоставила. Проблема заключается в следующем - бывшая жена и её любовник решили лишить меня отцовства касательно младшей дочери, я с пониманием отнесся к данной ситуации, хотя конечно обидно, выходит что три года они водили меня за нос. В официальном браке эти нелюди не состоят, так как у любовника своя семья, где еще трое детей. Так вот сам вопрос - могу ли теперь я, после того как меня лишат отцовства касательно моей третьей дочери подать в суд на любовника, чтобы ограничить его в отношении первых моих двух кровных детей, так как я беспокоюсь что он может оказать на них негативное влияние, ввиду открытых обстоятельств. Сын и дочка сильно жалуются на него, говорят они в открытую чуть ли не занимаются любовью перед ними, мать стала запирать их в комнате, пока они сами не насладятся любовными утехами. Почему я как отец должен позволять чужому человеку, не связанному брачными узами с бывшей женой общаться и быть рядом с моими детьми, когда даже меня - родного отца нет рядом. Помогите, как ограничить его в правах относительно моих детей, можно ли сделать так, чтобы он держался от них подальше. Спасибо.