Doszło do krzyków, a zdenerwowany malarz nie mógł zrozumieć sytuacji, gdyż syn tłumacząc starał się oszczędzić mu przykrej krytyki. Ostatecznie próbował wręczyć generałowi papier i pióro, aby bez pośredników porozumieli się po francusku. Javier powiedział ojcu, że oburzenie generała nie miało nic wspólnego z obrazem i załagodził sytuację, obawiając się, że temperament Goi doprowadzi do rękoczynów. W podobny sposób opisał to wydarzenie Ramón de Mesonero Romanos, dodając, że Goya był bliski sięgnięcia po pistolety, a Wellington po szablę. W rozdzieleniu ich miał pomagać przyjaciel Wellingtona generał Álava.
Historyczka sztuki Mercedes Águeda Villar uważa, że ta sytuacja nie jest całkowicie wymyślona, i jest prawdopodobne, że Wellington miał jakieś zastrzeżenia do obrazu. Być może chciał zostać przedstawiony w stroju wojskowym z orderami, które Goya szczegółowo namalował na wcześniejszym popiersiu. Jednak w liście do swojego przyjaciela Martína Zapatera Goya pisał, że generał był z obrazu bardzo zadowolony. Anegdota została później wykorzystana przez malarza Ricarda Madrazo, który w swojej wersji zamienił syna Goi na swojego dziadka José Madrazo. Próbował w ten sposób stworzyć relację między swoją rodziną, a Goyą, gdyż chciał sprzedać inny portret Wellingtona, którego autorstwo do dziś jest kwestionowane.