Возникли проблемы с расположением забора на участке ИЖС - соседи требуют его переноса или компенсацию расходов

Мы купили участок под ИЖС, в 2012 году решили поставить забор, по углам участка стояли межевые колышки, муж обошёл соседей для уточнения где чей колыше, соседа одного не было (он только поставил коробку и там не живёт), но вышел его сын (его участоксмпежный и сказал что он на все 100 процентов учерен что знает где колышек его родителей, весь разговор был при свидетелях, соседях участков, которые соприкасаются, в итоге был поставлен забор зимой ставили его сторону долго, т.к. были холода, в итоге летом приходит сосед и говорит, что мы углом забора на 1,5 метра вылезли на его участок, мы объяснили, что его сын указывал, где колышек, на что они сказали значит геодезисты при межевании не верно разметили. Мы предложили совместно перенести забор (из бетонных плит), тк. к. у них сыновья, кран был и мой муж, на что они ответили нам некогда, разговор тоже состоялся при соседях, всё тех же, теперь спустя год/, они требуют чтобы мы перенесли забор, мы не против, нам их земля не нужна, мы им сказали переносите, или отдайте деньги потраченные на этот забор и мы перенесём его, на что он сказал, что будет подавать на нас в суд, как быть в данной ситуации? Деньги на забор мы брали в кредит. Один сосед часть потраченных денег отдал, этот же сосед, когда мы спрашивали до установки забора, ну что ставить будем, он сказал, что денег нет и это ему не интересно. .