Pracując jeszcze w redakcji, poznał Emmę Pollmer, którą poślubił w 1880. Pisarz mieszkał najpierw w Ernstthal, aż w 1883 przeprowadził się ponownie do Drezna. Przełom w jego karierze literackiej nastąpił w 1882 – zaczął wtedy opisywać przygody swoich bohaterów w egzotycznych krainach: na Dzikim Zachodzie i Bliskim Wschodzie. Sławę przyniosła mu szczególnie seria powieści dziejących się na Dzikim Zachodzie, których najbardziej znanymi bohaterami byli Winnetou, szlachetny wódz Apaczów i jego biały przyjaciel Old Shatterhand – alter ego pisarza. Sukces powieści polega na tym, że fikcyjne wydarzenia zostały bardzo sugestywnie osadzone w geograficznych, obyczajowych i kulturowych realiach. Z postacią Old Shatterhanda pisarz niemal całkowicie się utożsamiał – jako bohater swoich powieści pozował do zdjęć, odpowiadał na listy, na drzwiach swojego domu w Radebeul umieścił wizytówkę „Karl May zwany Old Shatterhandem”.

Karl May zyskał popularność w Europie.