Saint-Rémy było położone w typowym dla Prowansji, śródziemnomorskim krajobrazie, na który składały się drzewa cyprysowe, gaje oliwne oraz skąpa roślinność na wzgórzach. Tym, co przyciągnęło uwagę van Gogha, była nie tyle pocztówkowa malowniczość krajobrazu, co groteskowe kształty roślin i skał; artysta nie musiał przekształcać ich w malarskie impresje, ale brał je takimi, jakimi były; miały one te cechy, których poszukiwał on w swojej sztuce – były zniekształcone i wypaczone. Wystarczyło tylko na nie popatrzeć. Van Gogh w czasie swych wędrówek odnajdował gotowe motywy. Były wśród nich wzgórza Alpilles, u podnóża których rosły niezliczone drzewa oliwne i jeden przypadkowy, samotny cyprys, stanowiący śmiały, pionowy akcent wieńczący wzgórza i równoważący ich wzniesienia i spadki. Artysta nanosił wszystkie swoje odkrycia na płótno. Napotkany motyw stał się tematem jego dwóch obrazów, malowanych równocześnie: Gwiaździstej nocy i Drzew oliwnych z Alpilles w tle.
W liście do brata artysta tak opisał inspirację do namalowania obrazu:
A w kolejnym liście do brata, napisanym około 18 czerwca 1889 roku stwierdził, że obraz jest już namalowany:
Później, kiedy oba obrazy obeschły, van Gogh wysłał je do Paryża, do Theo: