Как защитить себя в случае неправомерных действий охраны в магазине?

Ничего не платить.

Написать заявление в полицию по факту вымогательства.

Вызывайте полицию, подавайте заявление о незаконном лишении свободы, вымогательстве.

Вообще они должны вызвать сотрудников полиции и составить протокол о мелком хищении

КоАП РФ Статья 7.27. Мелкое хищение

(в ред. Федерального закона от 03.07.2016 N 326-ФЗ)

(см. текст в предыдущей редакции)

Перспективы и риски споров в суде общей юрисдикции. Ситуации, связанные со ст. 7.27. КоАП РФ

Развернуть

1. Мелкое хищение чужого имущества, стоимость которого не превышает одну тысячу рублей, путем кражи, мошенничества, присвоения или растраты при отсутствии признаков преступлений, предусмотренных частями второй, третьей и четвертой статьи 158, статьей 158.1, частями второй, третьей и четвертой статьи 159, частями второй, третьей и четвертой статьи 159.1, частями второй, третьей и четвертой статьи 159.2, частями второй, третьей и четвертой статьи 159.3, частями второй, третьей и четвертой статьи 159.5, частями второй, третьей и четвертой статьи 159.6 и частями второй и третьей статьи 160 Уголовного кодекса Российской Федерации, за исключением случаев, предусмотренных статьей 14.15.3 настоящего Кодекса, -

(в ред. Федерального закона от 05.02.2018 N 13-ФЗ)

(см. текст в предыдущей редакции)

влечет наложение административного штрафа в размере до пятикратной стоимости похищенного имущества, но не менее одной тысячи рублей, либо административный арест на срок до пятнадцати суток, либо обязательные работы на срок до пятидесяти часов.

Более ничего, что касается получение 5000 р, то конечно это не было вашей обязанностью.