Аргументировали это тем что открывать калитки некому и я буду за ними следить, могу ли я отказаться от этого?

Если у вас есть должностная инструкция, в которой прописаны ваши основные обязанности как дворника и грузчика, важно убедиться, что следить за калитками и открывать/закрывать их не входит в ваши обязанности. Если это не указано, вы можете на это сослаться.

Требуйте оплату за расширенный объем

Игорь, имеете полное право отказаться это делать - по должностной инструкции дворник и грузчик вообще не обязаны это делать, это прямые обязанности охранника. А если охранника нет - это не ваши проблемы. Привлечение вас к этой обязанности является дополнительной работой, а она допустима только с вашего письменного согласия и за дополнительную оплату.

Закон четко говорит:

ТК РФ Статья 151.

При совмещении профессий (должностей), расширении зон обслуживания, увеличении объема работы или исполнении обязанностей временно отсутствующего работника без освобождения от работы, определенной трудовым договором, работнику производится доплата.

Вы должны делать только то, что прописано в трудовом договоре и должностной инструкции. Все что сверху - можете не делать или просить доплату за дополнительную работу.

вы не обязаны заниматься несвойственными трудовыми обязанностями, пусть сторож, сотрудник охраны и открывает.

На две полные ставки - Вас не могли принять в одной организации.