L'hypothèse de la nébuleuse solaire est le modèle le plus communément accepté pour expliquer la formation et l'évolution du Système solaire. L'hypothèse suggère que le Système solaire s'est formé à partir de matière provenant d'une nébuleuse. Cette théorie a été développée par Emmanuel Kant et publiée de manière anonyme en 1755 dans une monographie intitulée .

Originellement appliqué seulement au Système solaire, ce processus de formation des systèmes planétaires est aujourd'hui largement considéré comme étant à l'œuvre dans l'ensemble de l'Univers. La variante moderne la plus acceptée de cette théorie est le modèle du disque de la nébuleuse solaire (MDNS) ou, plus simplement, modèle de la nébuleuse solaire. Cette hypothèse de la nébuleuse offre plusieurs explications sur une grande variété de propriétés que possède le Système solaire, incluant les orbites quasi circulaires et coplanaires des planètes, et leur mouvement dans la même direction que la rotation du Soleil. Aujourd'hui, quelques éléments de l'hypothèse de la nébuleuse se retrouvent dans les théories modernes de la formation des planètes, mais la majorité de ses éléments ont toutefois été mis de côté.

Selon l'hypothèse de la nébuleuse, les étoiles se forment dans des nuages très massifs et denses d'hydrogène moléculaire – des nuages moléculaires géants. Ces nuages sont gravitationnellement instables et la matière qui s'y amalgame se regroupe en petits amas plus denses, qui, à leur tour, tournent, s'effondrent et forment des étoiles. La formation des étoiles est un processus complexe qui produit toujours un disque protoplanétaire gazeux autour de la jeune étoile. Ce processus peut éventuellement donner naissance à des planètes dans certaines circonstances qui ne sont pas encore très bien connues. La formation des systèmes planétaires est donc considérée comme étant un résultat naturel de la formation des étoiles.

Une étoile comme le Soleil prend approximativement 1 million d'années à se former, avec un disque protoplanétaire qui évoluera en un système planétaire après 10 à 100 millions d'années.

Le disque protoplanétaire est un disque d'accrétion qui nourrit l'étoile en son centre. Initialement très chaud, le disque se refroidit avec le temps en ce qui est connu comme une étape d'étoile variable de type T Tauri ; ici, la formation de petits grains de poussière faits de roche et de glace est possible. Les grains peuvent éventuellement se coaguler en planétésimaux dont la grandeur peut atteindre le kilomètre. Si le disque est assez massif, l'accrétion exponentielle peut alors commencer, résultant en une formation rapide d'embryons planétaires, qui peuvent varier de la taille d'un satellite naturel jusqu'à celle de Mars. Plus près de l'étoile, les embryons planétaires entrent dans un stade de fusionnement violent, produisant des planètes telluriques. Cette dernière étape peut prendre environ 100 millions à un milliard d'années.

La formation des planètes géantes est cependant un peu plus compliquée. On pense qu'elle se fait au-delà de la ligne des glaces, au-delà de laquelle les embryons planétaires sont constitués majoritairement de différents types de glaces. Conséquemment, elles sont plusieurs fois plus massives que celles dans la partie interne du disque protoplanétaire. Ce qui se passe après la formation des embryons n'est pas encore complètement compris. Certains embryons semblent continuer à grandir et éventuellement atteindre de 5 à 10 masses terrestres (M⊕), qui est la valeur limite nécessaire au commencement de l'accumulation du gaz hélium-hydrogène qui provient du disque. L'accumulation de gaz par le noyau est initialement un processus lent qui continue pendant plusieurs millions d'années, mais après que la protoplanète en formation atteint environ 30 M⊕, le processus s'accélère et procède de manière emballée. Des planètes comme Jupiter et Saturne sont considérées comme ayant accumulé la majorité de leur masse dans une période de seulement . L'accrétion s'arrête quand le gaz du disque s'est épuisé. Les planètes peuvent aussi migrer sur de grandes distances pendant ou après leur formation. On pense que des géantes de glace, comme Uranus ou Neptune, seraient des « noyaux échoués », qui se seraient formés trop tard, alors que le disque avait presque totalement disparu.

Histoire En 1644, Descartes décrit dans les Principia philosophiae un mécanisme de formation du système solaire fondé sur des mouvements tourbillonnaires incessants qui animeraient un fluide subtil dans lequel baignerait notre monde.

En 1687, dans les Philosophiae naturalis principia mathematica, Newton critique le modèle de Descartes mais sans formuler par ailleurs une hypothèse cosmogonique précise..

En 1734, Emanuel Swedenborg propose des hypothèses sur la nébuleuse solaire...

En 1745, Buffon postule que les planètes auraient été expulsées du Soleil lors d'une collision rasante d'une comète passant à son périhélie.

Emmanuel Kant est familier avec le travail de Swedenborg et s'en prendra à lui en 1766 dans Les rêves d’un visionnaire pour démontrer l’impossibilité de l’intuition intellectuelle.. Mais il est surtout interpellé par les hypothèses de Newton et développe à sa suite une théorie de formation du système solaire et des galaxies qu'il publie de manière anonyme en 1755.... Il y postule que les nuages gazeux, les nébuleuses, tournent lentement, s'effondrent graduellement et s'aplatissent à cause de la gravité, formant éventuellement des étoiles et des planètes... Sa Théorie du ciel tente de résoudre les questions cosmologiques laissées de côté par Newton. Il décrit la structure de notre galaxie et applique sa conception aux nébuleuses extra-galactiques, postulant une théorie des univers-îles, répartis dans le vide intergalactique et évoluant calmement et de manière isolée. Les observations astronomiques ultérieures ont cependant prouvé que les galaxies n'évoluent pas de manière isolée mais que leur évolution se fait par l’interaction avec leur environnement et les autres galaxies..

Un modèle de nébuleuse solaire semblable à celui de Kant est indépendamment développé et proposé par Pierre-Simon de Laplace en 1796, dans son Exposition du système du monde. Il y postule que le Soleil avait, originellement, une atmosphère chaude étendue à la grandeur du volume du Système solaire. Sa théorie soutient qu'il y a eu contraction et refroidissement du nuage protosolaire . Lors de son refroidissement et de sa contraction, il s'est aplati et s'est mis à tourner plus rapidement, jetant une série d'anneaux gazeux de matière, et selon lui, les planètes se sont condensées et sont apparues de cette matière. Son modèle est similaire à celui de Kant, mais plus détaillé et sur une plus petite échelle. Alors que le modèle nébulaire laplacien est celui qui domine le , il rencontre bon nombre de difficultés. Son principal problème réside dans la distribution du moment cinétique entre le Soleil et les planètes. En effet, les planètes possèdent 99 % du moment cinétique, et ce fait ne peut pas être expliqué par son modèle. Conséquemment, cette théorie de la formation des planètes est largement abandonnée au début du .

L'abandon du modèle laplacien a motivé les scientifiques à lui trouver un remplaçant. Au cours du , plusieurs théories sont proposées, incluant la de Thomas Chrowder Chamberlin et Forest Ray Moulton (1901), le de James Hopwood Jeans (1917), le de Otto Schmidt (1944), la de William McCrea (1960) et, finalement, la de Michael Woolfson. En 1978, ressuscite les idées laplaciennes à propos de la formation des planètes et développe la théorie laplacienne moderne. Aucun de ces essais n'obtient un succès complet et plusieurs des théories suggérées sont avant tout seulement descriptives.

La naissance de la théorie moderne largement acceptée de la formation planétaire peut être accordée à l'astronome soviétique Viktor Safronov.. Son livre ., traduit en anglais en 1972, a eu un effet durable sur la manière dont les scientifiques pensent et conçoivent la formation des planètes.. Dans cet ouvrage, presque tous les problèmes majeurs du processus de la formation des planètes sont formulés et quelques-uns d'entre eux sont même résolus.

Ses idées sont davantage développées dans les travaux de George Wetherill, qui découvre l'accrétion exponentielle. Originellement appliqué seulement au Système solaire, le « Modèle du Disque de Nébuleuse Solaire » (MDNS) a été ensuite généralisé à l'ensemble de l'Univers par les théoriciens.

Modèle de la nébuleuse solaire : succès et problèmes Succès Le processus de formation des étoiles résulte naturellement en l'apparition du disque d'accrétion autour du jeune objet stellaire. À l'âge d'environ 1 million d'années, 100 % des étoiles risquent d'avoir un tel disque. Cette conclusion est soutenue par la découverte de disques gazeux et poussiéreux autour de protoétoiles et d'étoiles T Tauri, ainsi que par des considérations théoriques. L'observation de tels disques montre que les grains de poussière à l'intérieur de ceux-ci grandissent sur de courts intervalles de temps (milliers d'années), produisant des particules d'environ .

Le processus d'accrétion, par lequel des planétésimaux d' d'envergure grossissent en des corps de de diamètre, est aujourd'hui bien compris. Ce processus se développe à l'intérieur de n'importe quel disque où la densité de planétésimaux est suffisamment élevée, et se produit de manière emballée. Plus tard, la croissance ralentit et se transforme en une accrétion dite « oligarchique ». Le résultat final est la formation d'embryons planétaires de grandeurs diverses, qui dépend de sa distance du Soleil. Différentes simulations ont démontré que la fusion d'embryons dans la partie interne du disque protoplanétaire mène à la formation de planètes de la taille de la Terre. C'est pour cela que l'origine des planètes telluriques est aujourd'hui considérée comme un problème presque résolu.

Problèmes et critiques Les caractéristiques physiques des disques d'accrétion posent certains problèmes. Le plus important est celui où la matière, qui est accrétée par la protoétoile, perd de son moment cinétique. Une explication possible, suggérée par Hannes Alfvén, est que le moment cinétique est perdu par le vent solaire lors de sa phase T Tauri. Le mouvement serait donc transporté dans les parties extérieures du disque par des .. La viscosité est générée par une turbulence macroscopique, mais le mécanisme précis qui produit cette turbulence n'est pas bien connu. Un autre processus possible est le freinage magnétique, où la rotation de l'étoile est transférée au disque qui l'entoure via son champ électromagnétique.. Le processus principal responsable de la disparition du gaz dans le disque est la « diffusion visqueuse » et la « photo-évaporation »...

La formation de planétésimaux est le plus grand problème non résolu dans le modèle du disque nébuleux. En effet, les mécanismes en jeu pour amener l'agglutinement de particules de de diamètre en planétésimaux de restent un mystère. Ces mécanismes semblent être la clé qui pour comprendre pourquoi certaines étoiles ont des planètes, alors que d'autres n'ont rien autour d'elles, même pas de ceintures de poussières.

La formation des planètes géantes est un autre problème irrésolu. Les théories présentes sont incapables d'expliquer comment leurs noyaux peuvent se former assez rapidement pour accumuler des quantités significatives de gaz aussi rapidement du disque protoplanétaire qui disparait. La faible durée de vie des disques, qui est de moins de 10 millions d'années, apparait comme étant plus courte que le temps nécessaire pour la formation de leur noyau.