Oczy mają żółto-brązową barwę, choć podobna pustułka stepowa ma białawe oczy, bardziej blade ubarwienie, prążkowane lotki i szary ogon.
Osobnik młodociany ma wyraźniejsze smużenie niż ptaki dorosłe i jaśniejsze prążkowanie na ogonie.
Pustułki rdzawe wydają wysokie, skrzekliwe okrzyki, ale poza okresem lęgowym przeważnie ptaki te się nie odzywają.
Występowanie i siedlisko Gnieździ się na sawannach na południe od Sahary od południowego Mali i Wybrzeża Kości Słoniowej na wschód aż po Sudan, wybrzeże Erytrei, Etiopię, północno-zachodnią i środkową Kenię. Rzadziej zalatuje na zachód do Senegalu, Gambii i Gwinei, a na południe do Demokratycznej Republiki Konga. Większość ptaków jest osiadła, choć niektóre osobniki wykazują ruchy migracyjne w trakcie pory wilgotnej na północy areału i na południu w czasie pory suchej. Pustułki rdzawe widuje się również w pobliżu klifów i kamienistych wzniesień. Zamieszkuje tereny od poziomu morza po 2200 m n.p.m., choć najczęściej poniżej 1000 m n.p.m. Zajmuje szeroki zasięg sięgający około 4 milionów km², ale jest tam zwykle ptakiem rzadko spotykanym.