Kariera w NBA Boston Celtics 2004-2005 24 czerwca 2004 został wybrany z numerem 25 w drafcie przez Boston Celtics. 2 lipca 2004 podpisał czteroletni kontrakt wart 4 776 941 dolarów z czego decyzja o obowiązywaniu ostatniego roku kontraktu była po stronie Boston Celtics. Allen zadebiutował w NBA 3 listopada 2004 w spotkaniu przeciwko Philadelphia 76ers. Zdobył w nim 2 punkty podczas 6 minut gry. 22 stycznia 2005 wyszedł pierwszy raz wyszedł w wyjściowym składzie Celtics, wtedy też ustanowił rekord punktowy swojego pierwszego sezonu w NBA, zdobywając 20 punktów przeciwko Atlanta Hawks. W całym sezonie rozegrał 77 meczów, z czego aż 34 w pierwszej piątce. Zdobywał w nich 6,4 punktu na mecz, a także 2,9 zbiórki i 1 przechwyt.
2005-2006 Podczas przerwy pomiędzy pierwszym a drugim sezonem Allen uczestniczył w strzelaninie, w której postrzelony został 29-letni mężczyzna obok restauracji w Chicago, w sierpniu 2005. Allen nie był podejrzewany o oddanie strzałów, ale został oskarżony o uszkodzenie lewego oka jednego z uczestników zdarzenia. Spędził przez to dwie doby w więzieniu. Podczas całego zdarzenia doznał poważnej kontuzji prawego kolana, która zmusiła go do opuszczenia 31 pierwszych meczów sezonu 2005-06.