El Segment Anything Model (SAM) és un model d'intel·ligència artificial desenvolupat per Meta AI el 2023, dissenyat per realitzar segmentació d’imatges de manera generalista i sense necessitat d’entrenament específic. SAM forma part del projecte Segment Anything, que també inclou un conjunt de dades massiu amb més d’un milió d’imatges i 1.1 bilions de màscares** segmentades.

SAM és capaç de generar màscares d’objectes a partir d’indicacions simples, com punts, caixes delimitadores o text, i pot segmentar qualsevol element d’una imatge sense coneixement previ del tipus d’objecte, fet que el converteix en un model d’ús universal.

Característiques SAM es basa en una arquitectura híbrida que inclou:

un encoder d’imatge, un encoder de prompts, un decoder lleuger que genera les màscares.

La seva capacitat de segmentar sense entrenament addicional prové de l’ús d’un conjunt de dades extremadament gran i divers, anomenat SA-1B, creat específicament per entrenar el model.

Funcionament El model rep com a entrada:

una imatge, un “prompt” (punt, caixa, màscara o text).

A partir d’aquesta informació, el decoder produeix una o diverses màscares que representen els objectes identificats. El model pot generar màscares en temps real en dispositius moderns de GPU.

Aplicacions Edició d’imatges i vídeo

Permet selección ràpida d’objectes per retocar-los o modificar-los.

Robotització i conducció autònoma

Ofereix segmentació precisa d’escenes complexes.

Medicina i biotecnologia

Facilita l’anàlisi d’imatges mèdiques sense entrenament específic.

Cartografia i teledetecció

Pot identificar elements naturals i artificials en imatges de satèl·lit.

Realitat augmentada

Serveix per separar objectes i integrar-los en entorns virtuals.

Limitacions Tot i la seva generalitat, SAM pot presentar:

dificultats amb objectes molt petits, ambigüitats en entorns amb molta superposició, consum elevat de recursos computacionals.

Història El projecte va ser anunciat per Meta AI a l’abril del 2023 com una iniciativa oberta destinada a democratitzar la segmentació d’imatges. El conjunt de dades SA-1B també va ser alliberat sota llicència no comercial. SAM forma part d’una tendència creixent de models “fundacionals” aplicats a la visió per computador.

Vegeu també Visió per computador Intel·ligència artificial Aprenentatge profund Segmentació d'imatges

Enllaços externs Pàgina oficial del projecte Segment Anything Meta AI Research

Categoria:Intel·ligència artificial Categoria:Meta Platforms