Последнее время он решил затеять принудительный обмен и требует от меня дубликаты ключей.

Квартира является муниципальной собственностью, Ваш бывший муж имеет такие же права на квартиру как и Вы, так как зарегистрирован в квартире. Если Вы будете препятствовать бывшему мужу вселению в квартиру, то он будет вселен в судебном порядке. Возможно, в Вашем варианте будет лучшим - обмен жилья. Советую обратиться к адвокату очно, многое зависит от конкретных обстоятельств по делу.

Ваша проблема вовсе не в ключах. У Вашего бывшего мужа есть другое жильё? Принимает ли он участие в оплате квартплаты и прочих расходов на квартиру в течение этих 5 лет, что он не живёт в ней? Возможно Вам целесообразно самой обратиться в суд с иском в порядке ст. 83 ч. 3 ЖК РФ о признании его утратившим право на жилое помещение в связи с его переездом на другое постоянное место жительства (если для этого имеются основания). Вам бы желательно проконсультироваться очно, обсудить возможную судебную перспективу.

На счёт ключей: он имеет право на доступ в квартиру, поскольку зарегистрирован в ней, проживал в ней ранее (то есть приобрёл право пользования). Если Вы не дадите ему ключи, он может и вскрыть дверь с помощью МЧС (если не побоится), предъявив им свой паспорт с пропиской. Если вскрывать дверь он не решится, то может обратиться в суд с иском о вселении, и суд этот иск удовлетворит, т.к. право на проживание у Вашего бывшего супруга есть.

Муж в любом случае имеет право проживать там, где зарегистрирован. Тем более сейчас он активно заявил свои права на это жильё. И подача иска в суд о признании его утратившим право на жилое помещение в связи с его переездом на другое постоянное место жительства ничего вам не даст, кроме потрепанных нерв и потраченных денег.

Предложите ему вместо размена вашей квартиры, сначала её приватизировать на двоих (ну конечно при условии, что у вас и бывшего мужа не использовано право на приватизацию), а затем продать. В этом случае, гораздо быстрее можно найти разъезд. Возможно, достижение совместной цели, как то его немного успокоит.