Albumy Pierwszym albumem, wydanym w 2000 roku, jeszcze pod szyldem Infinium Records, był Code Eternity (numer katalogowy INRE 001), wznowiony w roku następnym przez tę samą wytwórnię oraz pod nowym szyldem, Ultimae Records (numer katalogowy inre 003). Od tamtego czasu ukazało się ponad 70 albumów (oryginalnych nagrań i kompilacji); ostatnim jest kompilacja Various Artists - Enfold 01 (numer katalogowy inre074), wydana w 2014 roku z okazji 15-lecia założenia wytwórni, zawierająca nagrania takich twórców jak: Scann-Tec, Fingers In The Noise, I Awake, Martin Nonstatic, Lars Leonhard, Miktek, Circular, Master Margherita and Ermetico, Asura i AES Dana.
Szata graficzna albumów Ultimae wydaje wszystkie albumy w określony sposób, jeśli chodzi o ich opakowanie i szatę graficzną. Tworzeniem tej ostatniej zajmuje się Vincent Villuis. W początkowym okresie czasami pomagał mu brat. Przez ponad 10 lat okładkę każdego albumu tworzył panoramiczny obraz o proporcjach 16 x 9, mający oddawać styl muzyki, preferowany przez wytwórnię („panoramiczna muzyka dla panoramicznych ludzi” – „panoramic music for panoramic people”), ograniczony z góry i z dołu czarnym pasem. W latach 2011/12 Villuis i Gryson zarzucili ten schemat, ponieważ stał się, w ich opinii, barierą dla ich kreatywności.