Права собственника - что делать, если соседи против разрушения и переделки половины дома?

Мы купили 1/2 частного дома, чтобы в дальнейшем его переделать и жить. Дом состоит из двух половинок, в каждой из которых проживает отдельная семья. У нас 1/2 доли на право собсвенности данного домовладения. Данная часть дома в очень плохом состоянии (полы перекошены, еще печка стоит, отопление разморожено, потолок в трещинах и т.д.). Когда покупали, соседи были не против что мы когда то начнем стройку, но теперь... Как речь зашла, что мы хотим или снести свою половину, конечно при этом как то им укрепить и построиться во дворе, отступив от первоначального дома или на своей половине все переделать, надстроить и пристроить во дворе. Но не сносить, не надстраивать 2-й этаж и вообще, они нам не разрешают, сказали что максимум что разрешат это пристроить во двор кухню и все, конечно же тоже отступая от границы. Скажите какие у меня есть права? Я же тоже собственник и хочу жить нормально а не в трущебах, тем более у нас 2-е маленьких детей. Могу ли я снести часть своего дома? Может быть адрес выделить? Или его для начала нужно признать аварийным? И нужно ли при сносе разрешение вторых сосбвенников? Скажите как мне поступить? Очень хочется жить на этом месте, но при нормальных условиях. Неужели без судов нам не обойтись? Они очень боятся что рухнет их половина из-за нашей стройки. Подскажите пожалуйста что мне делать? Спасибо.