W ówczesnej świadomości mieszkańców Europy stawiano znak równości między diabłem a Mauretańczykiem, najprawdopodobniej ze względu na ciemniejszy kolor skóry.
Inni twierdzą, że Zwarte Piet był pomocnikiem włoskiego kominiarza, ze względu na posiadaną umiejętność chodzenia po dachach, strój przypominający kombinezon kominiarski oraz miotełkę, którą ma przy sobie.
Według innej legendy Zwarte Piet był etiopskim chłopcem o imieniu Petrus, którego Sinterklaas kupił na targu niewolników w Mirze, i któremu podarował wolność, zaś chłopiec z wdzięczności pozostał u boku swojego wybawcy. Z biegiem czasu jego imię zostało uproszczone do Piet.
W miarę jak upowszechniła się w Niderlandach wiara o pochodzeniu Sinterklaasa z Hiszpanii, coraz częściej utożsamiano Zwarte Pieta z mauretańskim, nieporadnym młodzieńcem mówiącym na migi. Taki wizerunek Zwarte Pieta był popularny aż do połowy XX wieku.
Coraz powszechniejsza emigracja Afrykańczyków do Europy oraz rozwój wzajemnych kontaktów przyczyniły się do zmiany wizerunku. Zwarte Piet stał się respektowanym asystentem Sinterklaasa, praktycznie pozbawionym elementów łączących tę baśniową postać z niewolnictwem i przeszłością kolonialną Holandii.