Без задней мысли

Так говорят, когда хотят подчеркнуть, что человек не имеет никаких тайных умыслов и не задумал ничего плохого.

Объяснить это легко: человек видит то, что находится впереди, перед ним, а то, что находится сзади, за спиной, является невидимым, а значит, неведомым, опасным. Отсюда, сзади, может подкрасться беда.