Дело в том, что в свойствах этого инструмента у тебя указано "create shape layer", либо "fill region". А надо "create work path" (прямоугольник с пером на верхней горизонтальной панели). После того, как нарисуешь свой прямоугольник, иди в палитру paths и увидишь там work path. Его надо сохранить (save path) а затем сделать из него контур (stroke path) нужного цвета и толщины. Как и требовалось, внутри контура заливки не будет.