И только эти 2 года он оплачивали полностью коммунальные услуги с учётом льгот, которые ему предоставили как инвалиду.

Здравствуйте, Вы можете разменять квартиру по согласию сторон, если согласие не достигнуто, то это можно сделать в судебном порядке, однако Вам нужно найти варианты обмена и указать их суду. Кто в какой комнате должен жить должно определяться жильцами. Для того чтобы вселить Вас нужно согласие брата.

Наниматель жилого помещения по договору социального найма с согласия в письменной форме наймодателя и проживающих совместно с ним членов его семьи, в том числе временно отсутствующих членов его семьи, вправе осуществить обмен занимаемого ими жилого помещения на жилое помещение, предоставленное по договору социального найма другому нанимателю.

Проживающие совместно с нанимателем члены его семьи вправе требовать от нанимателя обмена занимаемого ими жилого помещения по договору социального найма на жилые помещения, предоставленные по договорам социального найма другим нанимателям и находящиеся в разных домах или квартирах.

Если между нанимателем жилого помещения по договору социального найма и проживающими совместно с ним членами его семьи не достигнуто соглашение об обмене, любой из них вправе требовать осуществления принудительного обмена занимаемого жилого помещения в судебном порядке. При этом учитываются заслуживающие внимания доводы и законные интересы лиц, проживающих в обмениваемом жилом помещении. (ст. 72 ЖК РФ)

Дело это сложное, надо подобрать варианты размена, написать грамотно исковое заявление, отстаивать позицию в суде. Поэтому лучше всего воспользоваться помощью специалиста в области права.