Epitet gatunkowy unicolor oznacza z łaciny dosłownie „jednobarwny”. Pierwszy znany okaz rzeczywiście był cały czarny, jednak to określenie jest mylące. U ostrygojadów zmiennych występuje polimorfizm – trzy podstawowe odmiany barwne to „srokata” (ang. pied), pośrednia/„smugowana” (ang. intermediate/smudged) i czarna. Pierwotnie były opisywane jako odmienne gatunki, przy czym ptaki odmiany czarnej były albo umieszczane w osobnym gatunku, albo łączone razem z ptakami odmiany pośredniej. Osobniki poszczególnych odmian łączą się w pary i z powodzeniem rozmnażają, a same zmiany w upierzeniu mają charakter klinowy. Utrudniało to ujednolicenie ich systematyki, podobnie jak występowanie w części Nowej Zelandii innego czarno-białego gatunku – ostrygojada nowozelandzkiego (H. finschi), który zamieszkuje Wyspę Południową.
Ostrygojad nowozelandzki (H. finschi) bywał natomiast uznawany za odmianę srokatą ostrygojada zmiennego. Dawniej ostrygojady zmienne bywały łączone w jeden gatunek z ostrygojadami krótkodziobymi (H. chathamensis), a czasami i zwyczajnymi (H. ostralegus) czy ostrygojadami australijskimi (H. fuligunosus).