TernFS és un programari de codi obert i un sistema de fitxers distribuït desenvolupat per l'empresa de trading quantitatiu XTX Markets. Està dissenyat per a càrregues de treball de gran escala de aprenentatge automàtic que requereixen una gestió eficient de fitxers immutables a través d'emmagatzematge d'escala d'exabytes. TernFS té com a objectiu oferir alt rendiment, robustesa i integritat de dades a través de múltiples centres de dades i regions. El sistema va ser alliberat com a codi obert per XTX Markets el 2025 sota una combinació de llicències GPL-2.0-o-posterior i Apache-2.0 (amb excepcions LLVM).
Descripció general TernFS va ser dissenyat per satisfer els requisits de dades dels canals d'aprenentatge automàtic de XTX Markets, que impliquen la lectura i escriptura de fitxers immutables de grans dimensions. En aquest context, «immutable» es refereix a fitxers que no es modifiquen mai després de la seva creació, i «grans» a fitxers que normalment són de diversos megabytes o més.
El sistema està pensat per a desplegaments de fins a: 10 exabytes (EB) d'emmagatzematge lògic, 1 bilió de fitxers (mida mitjana ~10 MB), 100.000 milions de directoris (mitjana de 10 fitxers per directori), i 1 milió de clients connectats simultàniament.
TernFS està dissenyat per funcionar sobre maquinari de consum connectat mitjançant Ethernet estàndard i xarxes habituals.
Disseny i arquitectura TernFS posa èmfasi en la durabilitat, la consistència i la recuperabilitat:
Els fitxers o bé s'escriuen completament o no són visibles per altres clients, evitant estats “a mig escriure”. La pèrdua d'energia o la fallada d'un node no poden corrompre les metadades ni les dades dels fitxers. La degradació de programari i la corrupció silenciosa de dades es mitiguen amb redundància i processos de comprovació periòdica. La pèrdua de dades es considera altament improbable, excepte en esdeveniments catastròfics (com incendi o inundació). El sistema pot continuar funcionant durant tasques de manteniment o fallades parcials. Els fitxers suprimits es poden restaurar segons la política de retenció. Admet replicació multiregió per garantir redundància geogràfica i escalabilitat entre centres de dades.
Història TernFS es va desenvolupar inicialment com a programari intern a XTX Markets el 2022 per gestionar les creixents càrregues de treball d'aprenentatge automàtic de l'empresa. Va entrar en ús de producció el 2023 i va ser publicat oficialment com a programari de codi obert a l'octubre de 2025.
Referències
Categoria:Sistemes de fitxers Categoria:GNU/Linux