Matematyczna teoria prawdopodobieństwa sięga swoimi korzeniami do analizy gier losowych podjętej w siedemnastym wieku przez Pierre’a de Fermata oraz Blaise’a PascalaParadoks Kawalera de Méré Rachunek prawdopodobieństwa Paradoksy rachunku prawdopodobienstwa. Z tego powodu, początkowo teoria prawdopodobieństwa zajmowała się niemal wyłącznie zjawiskami dyskretnymi i używała metod kombinatorycznych. Zmienne ciągłe zostały wprowadzone do teorii prawdopodobieństwa znacznie później. Za początek stworzenia współczesnej teorii prawdopodobieństwa powszechnie uważa się jej aksjomatyzację, której w 1933 dokonał Andriej Kołmogorow. Współczesna teoria prawdopodobieństwa jest ściśle związana z teorią miary.
Pomimo że wynik pojedynczego rzutu monetą lub kością do gry często z praktycznego punktu widzenia można uważać za nieprzewidywalny, jeżeli eksperyment taki powtórzony zostaje wielokrotnie, mogą pojawić się pewne prawidłowości i wzory statystyczne, które można badać i przewidzieć.