Могу ли отказать в выдаче разрешения на оружие если имеется одно административное нарушение?

Смотря какое нарушение.

В вашем вопросе принципиально недостаточно информации.

Согласно ст.13 Закона РФ "Об оружии" 13.12.1996 N 150-ФЗ, лицензия на приобретение оружия не выдается гражданам Российской Федерации:

повторно привлеченным в течение года к административной ответственности за совершение административного правонарушения, посягающего на общественный порядок и общественную безопасность или установленный порядок управления, административного правонарушения, связанного с нарушением правил охоты, либо административного правонарушения в области оборота наркотических средств, психотропных веществ, их аналогов или прекурсоров, растений, содержащих наркотические средства или психотропные вещества либо их прекурсоры, или их частей, содержащих наркотические средства или психотропные вещества либо их прекурсоры, за исключением административных правонарушений, связанных с потреблением наркотических средств или психотропных веществ без назначения врача либо новых потенциально опасных психоактивных веществ, - до окончания срока, в течение которого лицо считается подвергнутым административному наказанию;

подвергнутым административному наказанию за потребление наркотических средств или психотропных веществ без назначения врача либо новых потенциально опасных психоактивных веществ, - до окончания срока, в течение которого лицо считается подвергнутым административному наказанию.

Конкретно за распитие спиртных напитков в общественных местах.

Охотничье гладкоствольное оружие.