Un objet géométrique est dit convexe lorsque, chaque fois qu'on y prend deux points et , le segment qui les joint y est entièrement contenu. Ainsi un cube plein, un disque ou une boule sont convexes, mais un objet creux ou bosselé ne l'est pas.

Définition

On suppose travailler dans un contexte où le segment reliant deux points quelconques et a un sens (par exemple dans un espace affine sur ℝ — en particulier dans un espace affine sur ℂ — ou dans un espace hyperbolique).

Sauf précision explicite, tout ce qui suit concerne le seul contexte des convexes dans des espaces affines (ou vectoriels), pour lesquels la notion de segment est définie comme ci-dessus.

On appellera dimension d'un convexe non vide la dimension du sous-espace affine engendré par .

Exemples Les demi-espaces ouverts ou fermés délimités par un hyperplan d'un ℝ-espace vectoriel. — ou plus généralement : affine — sont convexes. Les sous-ensembles convexes de l'espace ℝ des nombres réels sont les intervalles de ℝ. Dans un espace affine, tout sous-espace affine est convexe ; c'est en particulier le cas des sous-espaces vectoriels d'un espace vectoriel. Le translaté d'un convexe est un convexe. Dans un espace vectoriel normé réel, toute boule (ouverte ou fermée) est convexe. En effet, d'après la remarque précédente, il suffit de le prouver pour une boule de centre : pour . Cela justifie a posteriori le fait d'appeler inégalité de convexité l'axiome d'inégalité triangulaire des espaces vectoriels normés. Soit des points d'un espace vectoriel réel V. Soit E l'ensemble de toutes les combinaisons linéaires avec pour tout et . L'ensemble E est convexe.

Propriétés élémentaires et outils fondamentaux

Intersections de convexes L'intersection de deux convexes (et même d'une famille quelconque de convexes) est elle-même convexe, réimpression avec corrections, Th. 1, . (Le résultat est énoncé dans ℝ dans cette source, mais la preuve s'adapte évidemment à une situation plus générale.) (et ce très généralement, dès lors qu'on peut définir la convexité).

Stabilité par barycentres à coefficients positifs

La définition de la convexité repose, après le choix de deux points quelconques et , sur la considération des points du segment , autrement dit des barycentres à coefficients positifs de ces deux points. En utilisant le théorème d'associativité des barycentres, on peut étendre aux barycentres à coefficients positifs d'un nombre quelconque de points. (Le résultat est énoncé dans ℝ dans cette source, mais la preuve s'adapte évidemment à une situation plus générale.) :

Enveloppe convexe

Étant donné une partie quelconque de l'espace ambiant (espace affine ou contexte plus général), il existe au moins un sous-ensemble convexe de contenant , à savoir lui-même ; ceci autorise à considérer l'intersection de tous les sous-ensembles convexes de contenant . On l'appelle l'enveloppe convexe de et on la note ou .

On vérifie aussitôt que est donc le plus petit sous-ensemble convexe de contenant , au sens de l'inclusion sur . Si et sont deux points de , est le segment .

Le théorème de la projection

À condition de travailler dans un espace euclidien (ou plus généralement dans un espace de Hilbert), on dispose d'un résultat remarquable : étant donné un convexe fermé non vide, pour tout point de l'espace, il existe un et un seul point du convexe à distance minimale de . Ce résultat est accompagné de diverses informations complémentaires, notamment le caractère obtus de l'angle pour tout point du convexe, ou le caractère 1-lipschitzien de l'application .

Séparation des convexes et structure de la frontière

Une technique utile est celle de la « séparation » de deux convexes. Elle consiste, étant donné deux convexes sans point commun d'un même espace, à découper cet espace en deux par un hyperplan (donc un plan, si la dimension est 3) qui laisse les convexes de part et d'autre de ce mur de séparation. Les démonstrations de la possibilité d'un tel découpage sont multiples, permettant d'obtenir des énoncés plus ou moins généraux ; certaines utilisent le théorème de Hahn-Banach, outil d'analyse fonctionnelle particulièrement pertinent pour l'étude en dimension infinie.

Cette méthode permet tout particulièrement de justifier de l'existence en chaque point de la frontière d'un convexe d'un « hyperplan d'appui » : un hyperplan passant par ce point et laissant le convexe tout entier dans l'un des deux demi-espaces qu'il borde. Ce résultat est à son tour fondamental pour étudier plus en détail la structure de la frontière des convexes (divisions en faces, arêtes, etc.) et particulièrement des polyèdres convexes. On est ainsi amenés à distinguer diverses catégories de points (points extrémaux, sommets) qui joueront un rôle central dans les problèmes d'optimisation sur le convexe, par exemple en optimisation linéaire.

Fonctions convexes associées à un ensemble convexe

L'étude des ensembles convexes peut bénéficier des résultats d'analyse qui concernent les fonctions convexes. Plusieurs telles fonctions peuvent en effet être associées à un convexe non vide .

La plus simple est sa fonction indicatrice, variante de la fonction caractéristique adaptée à la convexité : c'est la fonction qui prend la valeur 0 sur , et la valeur en dehors ; Lorsque l'espace ambiant est un espace vectoriel de dimension finie, muni d'une structure euclidienne, on peut ensuite considérer la fonction conjuguée de la précédente, qu'on appelle alors la fonction d'appui de ; Enfin, relativement à chacun des points de , on peut définir la jauge du convexe, qui est reliée de façon très parlante à sa géométrie et utile notamment dans certaines preuves des théorèmes de séparation des convexes.

Propriétés topologiques Dans cette section, on suppose l'espace ambiant muni d'une topologie compatible avec sa structure géométrique (c'est toujours le cas dans les espaces de dimension finie ; si on est dans un espace vectoriel de dimension infinie cela revient à exiger qu'il s'agisse d'un espace vectoriel topologique).

Adhérence, intérieur, frontière

Les opérateurs d'adhérence et d'intérieur préservent la convexité. En outre, lorsque le convexe considéré n'est pas d'intérieur vide (et on peut facilement se ramener à ce cas en le considérant comme partie de son enveloppe affine et non de l'espace global), le convexe, son intérieur et son adhérence ont tous trois la même frontière.

On peut montrer très facilement qu'un convexe compact est l'enveloppe convexe de sa frontière (hors le cas dégénéré de la dimension 0).

Connexité Une partie convexe d'un espace affine réel (ou complexe) est connexe par arcs, car tout segment reliant deux points constitue un chemin entre ces deux points. En particulier, elle est donc connexe.

Cependant, une partie convexe d'un espace quelconque n'est pas forcément connexe. Un contre-exemple est donné par l'intervalle fermé des nombres rationnels compris entre 0 et 1 : c'est un ensemble convexe de ℚ qui est totalement discontinu.

Enveloppe convexe-fermée d'un ensemble Si est une partie quelconque de l'espace on désigne par enveloppe convexe-fermée de , et l'on note , l'adhérence de son enveloppe convexe. On vérifie aisément que est aussi l'intersection des convexes fermés contenant (« plus petit » convexe fermé contenant ), et que a même enveloppe convexe-fermée que et .

La forme géométrique du théorème de Hahn-Banach permet de montrer que dans un espace localement convexe, est l'intersection des demi-espaces fermés contenant ., ce qui prouve que tout convexe fermé est faiblement fermé.

Dans un espace de Banach — ou plus généralement de Fréchet — l'enveloppe convexe-fermée d'un compact est compacte..

Description à homéomorphisme près en dimension finie

Pour , on notera une boule fermée de centre et de rayon dans un espace vectoriel séparé de dimension finie (pour n'importe quelle norme — toutes sont équivalentes).

Les compacts convexes disposent d'une structure simple :

On se place dans le sous-espace affine engendré par , muni de sa topologie canonique. Dans cet espace, l'intérieur de est non vide. Par translation, on peut donc supposer que contient une boule , de rayon . Notons la sphère qui la borde. Pour tout vecteur de , l'intersection de avec la demi-droite ℝ est un convexe compact de ℝ contenant , c'est-à-dire un segment de la forme . De plus, l'extrémité appartient à la frontière (donc ), tandis que tout autre point du segment est intérieur à (car il est intérieur à l'enveloppe convexe de ).

L'application , de dans , est un homéomorphisme.En effet, d'après ce qui précède, c'est la bijection réciproque de l'application , continue sur le compact . est homéomorphe à .On étend en une bijection de dans en posant , pour tout dans et tout dans . Cette application est continue en tout vecteur non nul. Comme est bornée (car est compact), est aussi continue en 0. C'est donc bien, comme , un homéomorphisme entre deux compacts.

Plus généralement, les convexes fermés d'une dimension finie donnée sont homéomorphes à l'un ou l'autre d'un nombre limité () de modèles simples :

Pour lire ce théorème sur un exemple instructif, celui de la dimension 3, les convexes fermés de dimension 3 sont homéomorphes à un des cinq modèles suivants : ℝ tout entier, la région délimitée par deux plans parallèles, un cylindre, une boule dans ℝ ou un demi-espace.

Les intérieurs relatifs de tous les modèles énumérés au théorème précédent sont homéomorphes entre eux, c'est-à-dire homéomorphes à ℝ. L'homéomorphisme donné par le théorème précédent échangeant les intérieurs relatifs, on peut donc en conclure que tous les ouverts convexes de dimension sont homéomorphes entre eux (ce qui, en réalité, était une étape de la preuve). On peut en fait obtenir mieux, à savoir un difféomorphisme.

Il ne faut pas espérer une classification aussi simple des convexes sans condition topologique : qu'on songe que toute partie de ℝ contenant le disque unité ouvert et incluse dans le disque unité fermé est convexeL'ensemble de cette sous-section est issu de , section II-3, tome 3, dans l'édition de 1978..

Ensembles convexes et géométrie combinatoire Les ensembles convexes jouent un rôle central en géométrie combinatoire, ne serait-ce que parce que, face à un nombre fini de points d'un espace affine, l'opération géométrique la plus évidente qu'on puisse leur appliquer est d'examiner leur enveloppe convexe : ce qu'on appelle un polytope.

Polytopes

L'objet de base de la géométrie combinatoire convexe, c'est le polytope, qu'on peut définir comme enveloppe convexe d'un nombre fini de points.

Pour ne citer ici que l'exemple sans doute le plus fameux de résultat de géométrie combinatoire, en dimension 3, les nombres de sommets, d'arêtes et de faces d'un polytope sont liés par la formule d'Euler (voir à ce sujet l'article Caractéristique d'Euler) :

Les théorèmes de Radon, Helly et Carathéodory

Considérons un ensemble de points dans un espace affine de dimension .

Le théorème de Radon affirme que :

Pour énoncer de façon parallèle les théorèmes de Helly et Carathéodory, on va introduire une notation : pour chaque indice variant entre 1 et , notons l'enveloppe convexe des points de autres que le point . En dimension 2, chaque serait un triangle (et il y en aurait quatre) ; en dimension 3 on aurait affaire à une collection de cinq tétraèdres, et ainsi de suite.

Les deux énoncés suivants sont des cas particuliers des énoncés les plus courants des théorèmes de Helly et Carathéodory, mais qui en contiennent essentiellement toute l'information : on reconstitue facilement les énoncés généraux à partir des versions fournies ci-dessous.

Ces théorèmes sont étroitement liés : la démonstration la plus courante de Helly est fondée sur Radon, tandis qu'on prouve facilement Carathéodory indépendamment, mais il est aussi possible par exemple de déduire Helly de Carathéodory ou le contraire.

D'innombrables variantes les précisent ou les généralisent.