Но по вине клиента в отношениях с третьими лицами задержали оплату за что они выставили нам пеню и не маленькую.

Прав, отказываясь возмещать. Скорее всего, неправ, ссылаясь на недопустимость привлечения третьих лиц.

Судя по тексту вопроса, в этом случае действуют два договора, не взаимосвязанных по условиям этих договоров. То есть во втором случае, Ваш договор с третьими лицами, никоим образом не согласовывался с клиентом, и клиен не брал на себя обязательства по этому договору. Соответственно, на третье лицо, которым для этого договора является Ваш клиент, нельзя возлагать обязанности.

Максимум, что Вы можете требовать - это какие-либо предусмотренные в договоре с Клиентом санкции за несвоевременную оплату, но это именно может быть несвоевременная оплата в рамках договора с клиентом, а не с любым иным лицом, по иному вашему договору.

ГК РФ.

"Статья 308. Стороны обязательства

1. В обязательстве в качестве каждой из его сторон - кредитора или должника - могут участвовать одно или одновременно несколько лиц.

Недействительность требований кредитора к одному из лиц, участвующих в обязательстве на стороне должника, равно как и истечение срока исковой давности по требованию к такому лицу, сами по себе не затрагивают его требований к остальным этим лицам.

2. Если каждая из сторон по договору несет обязанность в пользу другой стороны, она считается должником другой стороны в том, что обязана сделать в ее пользу, и одновременно ее кредитором в том, что имеет право от нее требовать.

3. Обязательство не создает обязанностей для лиц, не участвующих в нем в качестве сторон (для третьих лиц).

В случаях, предусмотренных законом, иными правовыми актами или соглашением сторон, обязательство может создавать для третьих лиц права в отношении одной или обеих сторон обязательства.

Статья 313. Исполнение обязательства третьим лицом

1. Исполнение обязательства может быть возложено должником на третье лицо, если из закона, иных правовых актов, условий обязательства или его существа не вытекает обязанность должника исполнить обязательство лично. В этом случае кредитор обязан принять исполнение, предложенное за должника третьим лицом".