Pierwszym człowiekiem, który próbował zdefiniować Quarter Horse jako odrębną rasę, był William Anson (upamiętniony wprowadzeniem do American Quarter Horse Hall of Fame w 1986). Urodził się w Anglii, dorastał wśród koni i był dobrym graczem polo. W wieku 21 lat Anson przybył do Ameryki i założył ranczo w pobliżu Chrizoval w Teksasie. Był zafascynowany szybkimi, inteligentnymi koniami z dobrym wyczuciem krów i zaczął śledzić ich początki. Anson opublikował pierwsze informacje, które powiązały ich pochodzenie z rasami hiszpańskimi z domieszką krwi mustangów i w późniejszym okresie koni ras zachodnioeuropejskich.
Duży wpływ na ukształtowanie cech koni Quarter miał ogier pełnej krwi angielskiej o imieniu Janus (wnuk Godolphin Barb) sprowadzony z Anglii w połowie XVIII w., który był wyjątkowo szybki. Jego potomstwo dało wiele linii hodowlanych (pojawia się w dziewięciu z 11 oryginalnych rodzin American Quarter Horse).