Od około 1870 Zöllner coraz ostrzej polemizował ze środowiskiem naukowym. W fizyce teoretycznej konsekwentnie bronił elektrodynamiki Wilhelma Webera, opartej na natychmiastowym oddziaływaniu ładunków siłą zależną od ich prędkości. Prawu Webera przypisywał znaczenie uniwersalne. We własnym rozszerzeniu tej teorii przyjął, że przyciąganie ładunków przeciwnych znaków jest nieznacznie silniejsze od odpychania ładunków tego samego znaku, a wynikającą stąd niewielką siłę wypadkową między ciałami elektrycznie obojętnymi utożsamił z grawitacją. Wynikający z tego stosunek siły elektrycznej do grawitacyjnej, rzędu 1040, pojawia się u niego już w 1876, choć w fizyce nazywa się go zwykle – od nazwisk późniejszych badaczy – liczbą Weyla albo Eddingtona. Odrzucił natomiast elektrodynamikę Jamesa Clerka Maxwella na rzecz założeń o charakterze metafizycznym, występował przeciw empiryzmowi i popularyzacji nauki, a w książce o kometach zaatakował próżność uczonych i karierowiczostwo w nauce, co zaszkodziło jego reputacji. Odpowiedzią były ataki ze strony innych badaczy i długi okres sporów, które stopniowo prowadziły go do izolacji w środowisku naukowym.