Как отказаться от наследников, если ты единственный, кто посещал квартиру и могилу отца?

Исходя из смысла статьи 1117 ГК РФ, изложенные Вами обстоятельства не являются основаниями для признания граждан недостойными наследниками.

ГК РФ Статья 1117. Недостойные наследники

1. Не наследуют ни по закону, ни по завещанию граждане, которые своими умышленными противоправными действиями, направленными против наследодателя, кого-либо из его наследников или против осуществления последней воли наследодателя, выраженной в завещании, способствовали либо пытались способствовать призванию их самих или других лиц к наследованию либо способствовали или пытались способствовать увеличению причитающейся им или другим лицам доли наследства, если эти обстоятельства подтверждены в судебном порядке. Однако граждане, которым наследодатель после утраты ими права наследования завещал имущество, вправе наследовать это имущество.

Не наследуют по закону родители после детей, в отношении которых родители были в судебном порядке лишены родительских прав и не восстановлены в этих правах ко дню открытия наследства.

2. По требованию заинтересованного лица суд отстраняет от наследования по закону граждан, злостно уклонявшихся от выполнения лежавших на них в силу закона обязанностей по содержанию наследодателя.

3. Лицо, не имеющее права наследовать или отстраненное от наследования на основании настоящей статьи (недостойный наследник), обязано возвратить в соответствии с правилами главы 60 настоящего Кодекса все имущество, неосновательно полученное им из состава наследства.

4. Правила настоящей статьи распространяются на наследников, имеющих право на обязательную долю в наследстве.

5. Правила настоящей статьи соответственно применяются к завещательному отказу (статья 1137). В случае, когда предметом завещательного отказа было выполнение определенной работы для недостойного отказополучателя или оказание ему определенной услуги, последний обязан возместить наследнику, исполнившему завещательный отказ, стоимость выполненной для недостойного отказополучателя работы или оказанной ему услуги.