Как защитить себя от доминирования коллег и избежать конфликтных ситуаций на работе?

Я держусь в стороне от трудового коллектива. В не рабочее время сижу в телефоне. Не пью с колегаси почти не общаюсь. В работе у нас ценится большая физическая сила.. Сам я вешу 65 кг. Работаю вахтой, на работе возникают постоянно конфликты с одним коллегой. Так как он более физически рослый, общительный, пьёт. В коллективе он пользуется авторитетом. Но с определённого происшествия у меня с ним отношения не заладились. И при любом случаи он готов лезть на драку. Идут угрозы, оскорбления. Я стараюсь их игнорировать и не отвечать. Такая конфликтная ситуация уже больше года. Начальству на это всё равно и оно выступает за него (в силу того что на работе где нужна физическая сила человек 65 кг и 95, смотрятся весьма существенно различно, хотя рост одинаковый 177-178 см) . Когда то был разговор, который я запомнил. Я сказал ему что если ты распустишь руки, я напишу заявление и будешь отвечать. Ещё и работу потеряешь. В ответ он рассмеялся. Сказал что я ни с кем не общаюсь. И он скажет что я его оскорблял, сам драку начал. А он защищался, бил так сказать в ответ и все подтвердят. Коллеги покиыали головой по улыбались.

Я в связи с этим давно в сильном затруднения. И любой поступок мой, который ему пришёлся не по вкусу, чуть ли не до драки доходит. Не смотря на то что я стараюсь с ним вообще не контактировать. Но из за того что живём после работы в одном месте, которое предоставляет работодатель. Не контактировать нельзя. И работу менять не желаю. Меня интересует вот что. Я чувствую что однажды произойдёт то что он меня побьёт и скажет что я сам его бить начал, сослуживцы, подтвердят, оскорблял. А потом ударил (эту схему он сам мне расписал, сказав, что хер я что докажу ещё и сам виноват буду). Вот не понравилось ему что то опять, побил он меня. И что получается мне смысла нет обращаться в полицию? Свидетели ведь за него будут. Или можно этому как то закон противодецствовать? Не терять работу?