Кто прав в споре об отказе от договора - клиент или исполнитель?

Всё верно понимаете.

Не все так просто! В общем случае отказ от договора в одностороннем порядке (если такая возможность допускается законом или самим договором) прекращает ваши обязательства, вытекающие из условий этого договора, на будущее время. От обязательств, которые у вас возникли в период, когда договор действовал (например, обязанность оплатить фактически выполненную по договору работу), вы не освобождаетесь.

Далее надо изучать конкретную ситуацию. Разумеется, исполнитель несет ответственность, в том числе материальную, за качество выполненных им работ: если работа выполнена некачественно, то он по вашему требованию обязан её за свой счет переделать или согласиться на уменьшение оплаты.

Но ваше утверждение, что, если вы направили исполнителю претензию, отказались от договора, то вы ему заведомо ничего не должны, не основано на законе.

Вы отказались от договора. Имеете полное право. В любой момент. Но. В соответствии со ст. 717 ГК РФ

Если иное не предусмотрено договором подряда, заказчик может в любое время до сдачи ему результата работы отказаться от исполнения договора, уплатив подрядчику часть установленной цены пропорционально части работы, выполненной до получения извещения об отказе заказчика от исполнения договора. Заказчик также обязан возместить подрядчику убытки, причиненные прекращением договора подряда, в пределах разницы между ценой, определенной за всю работу, и частью цены, выплаченной за выполненную работу.

Если же у Вас договор подпадает под действие Закона о защите прав потребителей, то в соответствии со ст. 32 данного закона

Потребитель вправе отказаться от исполнения договора о выполнении работ (оказании услуг) в любое время при условии оплаты исполнителю фактически понесенных им расходов, связанных с исполнением обязательств по данному договору.

То есть Вы должны что то выплатить подрядчику - как минимум его фактические расходы.

"Отказ от договора" - такого понятия нет. Есть термин "отказ от исполнения договора" (например, статья 782 ГК РФ). Такой подразумевает именно отказ от дальнейшего исполнения обязательств по договору и по своим правовым последствиям равен расторжению договора (различаются только основания и порядок). Поэтому - если речь идёт о договоре, например, возмездного оказания услуг (см. статью выше), то в силу закона Вы вправе отказаться (как заказчик) от исполнения договора, но - при условии оплаты фактически выполненных исполнителем к моменту такого отказа работ. Если работы выполнялись ненадлежащим образом - Вам предстоит это доказать в судебном порядке, в силу статьи 65 АПК РФ. Такие дела.