W 1978 roku, kilka miesięcy po występach w lidze letniej NBA w barwach Los Angeles Lakers, Washington ostatecznie trafił do lubelskiej drużyny, stając się pierwszym czarnoskórym zawodnikiem w historii polskich lig sportowych.
Po latach sukcesów nastały czasy kryzysu i ledwie rok po zdobyciu brązowego medalu mistrzostw polski Start spadł z ligi, a Washington odszedł do Zagłębia Sosnowiec. Przez dwadzieścia kolejnych lat drużynie ani razu nie udało się awansować do najwyższej koszykarskiej ligi Polski, a w sezonie 1987/1988 nawet zanotowali spadek z II ligi, jednakże na popularne zaplecze ekstraklasy powrócili już rok później.
W sezonie 2002/2003 Start ponownie występował w ekstraklasie, po zwycięstwie w barażach nad zespołem Alby Chorzów. W pierwszych rozgrywkach po awansie Start zajął 10. miejsce tabeli, jednak już rok później 12 i ponownie spadł z ligi. Po spadku z ekstraklasy drużyna popadła w rozsypkę. Odeszli najlepsi zawodnicy, a kierownictwo klubu postanowiło nie zgłaszać zespołu do I ligi, tylko rozpocząć rywalizację w II lidze. Po niezbyt udanych kolejnych rozgrywkach, Start połączył się z zespołem AZS Lublin. Celem nowej drużyny występującej pod nazwą Start AZS Lublin miał być ponowny awans do I ligi. Cel udało się osiągnąć dzięki zwycięstwu w ostatnim meczu sezonu ze Starem Tychy 64:49.