Как обеспечить договоренности о встречах с отцом ребенка без обращения в суд?

У нас с моим бывшем гражданским «мужем» есть дочь 7-ми лет. На данный момент он с нами не проживает. Я никогда не препятствовала их общению, он забирал ее в любое время, брал с собой в поездки на отдых. У меня было только два условия: Не брать ее с собой, когда он идет на свидание к своей подруге (у нее дочь такого же возраста) и возвращать по первому требованию. С начало у нас не было никаких проблем, но когда он в очередной раз повез ребенка в другой город, к своим родителям, мы договорились, что он привезет ее через 3 дня (она ходит в дет. сад и посещает занятия по подготовки к школе), а привез только через неделю, все это время, что они пробыли там, на мои звонки ни он, ни его родители не отвечали, они всячески от меня скрывались. По приезду дочь рассказала о том, что они неоднократно ходят в гости к какой-то тете. На контакт мой «бывший» не идет, говорит, что это его ребенок и он вправе поступать так, как считает нужным….Запретить ему общаться с дочерью совсем, я не могу, она очень сильно его любит, и по сути он хороший отец.. Подскажите пожайлуста, как мне действовать в подобной ситуации, как заставить его нотариально заверить соглашение со мной об определении места и времени общения с ребенком и не доводить это дело до суда?