Zdolności arytmetyczne są różne u różnych osób; ich niedobór jest uznawany za zaburzenie i znany jako dyskalkulia. Z kolei wybitne talenty obliczeniowe są krzewione jako forma sportu.
Ewolucja mały|300px|Liczydło mały|300px|Maszyna Leibniza
Arytmetyka elementarna zaczęła powstawać już w prehistorii i rozwijała się w kolejnych epokach, do nowożytności włącznie. W starożytności pojawiły się pierwsze systemy pozycyjne zapisu liczb, ułatwiające szybkie obliczenia; w średniowieczu uczeni arabscy rozpowszechnili dziesiętny system liczbowy, także w Europie. Czasy nowożytne to upowszechnienie się ułamków dziesiętnych oraz alternatywnych systemów pozycyjnych jak dwójkowy. Postępy w arytmetyce elementarnej pojawiły się także w XX wieku – w latach 60. opublikowano algorytm Karacuby szybkiego mnożenia liczb wielocyfrowych.
XIX i XX wiek przyniosły także ścisłe definicje przedmiotu arytmetyki, jakim jest liczba – Giuseppe Peano podał aksjomatyczną definicję liczb naturalnych, a Richard Dedekind – konstrukcję liczb rzeczywistych za pomocą przekrojów na zbiorze liczb wymiernych.