Byl potomkem mydlářského tovaryše Antonína Herrmanna z Žacléře, který koncem 18. století přišel do Hradce Králové. František Xaver se vyučil kupcem a někdy kolem roku 1839 si v Hradci Králové otevřel vlastní kupecký krám na Velkém náměstí čp. 157. V roce 1836 se oženil s Kateřinou Pospíšilovou (dcerou Jana Hostivíta Pospíšila). Rodina v roce 1851 odcestovala do Ameriky i s pěti dětmi. Cestou se jim narodila ještě další dcera. V Texasu koupili farmu. Farmaření ale nebylo úspěšné, navíc jim zemřely 2 děti, a tak se rodina vrátila zpátky do Čech. Po návratu koupil František Xaver Horní Mlýn u Chotěboře, kde se narodil syn Ignát. Ani tam se rodině finančně nedařilo a zřejmě v roce 1857 se vrátili do Hradce Králové. František Xaver se stal písařem v kanceláři dr. Flanderky. Rodina však finančně živořila až do jeho smrti.