Přes skutečnost, z jakých kruhů Mistr pocházel, neměl doma od útlého dětství příliš dobré zázemí. Jeho rodiče se dost často neshodli v otázce výchovy, a tak se nejednou stalo, že jeden z rodičů Toníka seřezal a druhý začal mlátit sám sebe, čímž chtěl vyjádřit svůj nesouhlas. Tyto nesváry měly svůj kořen v den svatby, 15.5.1838. Baron Leopold Herrmann si den předtím přivezl svou nevěstu z Čech, představil jí své rodiče, strýce Edmonda, kterého dokonce v tento významný okamžik pustili z blázince, ostatní blízké příbuzenstvo a domácí služebnictvo. Druhý den ráno, když se oba snoubenci sešli k snídani, bylo již všechno připraveno k oslavám, v zahradě čekali hosté a pan farář si v domácí kapli na konci zahrady zkoušel svou řeč. Baronova snoubenka Polyxena Justicová si však náhle vzpomněla, že se zapomněla zmínit o tom, že není katolička, ale evangelička. Nastalo zděšení. Jednoho příbuzného napadlo, že by se měla svatba odehrávat na neutrální půdě, tedy v mešitě, ale to bohužel nebylo dost dobře uskutečnitelné vzhledem k tomu, že se široko daleko žádná mešita nenacházela a že se ženich psychicky zhroutil. Rodiče nevěsty se na ženichova otce osopily s výčitkami, že jim nebyla sdělena skutečnost, že nastávající jejich dcery je katolík. Mezitím se nic netušící hosté v zahradě dobře bavili, a aby si Herrmannové nezkazili pověst v lepších kruzích, bylo nutno jednat. Proto si šaty nevěsty oblékl strýc Edmond a mladý baron, aniž by někdo z hostů cokoliv tušil, řekl své "ano " pomatenému příbuznému z matčiny strany. Celý život pak vyčítal manželce, že nejsou před Bohem svoji.
Jejich první dítě, syn Vittorio, byl pokřtěný katolík, stejně jako druhorozený Antoine (ten se ale nechal pokřtít až v dospělosti a kmotrem mu byl strýc z matčiny strany Ignát, který vyznával katolickou víru od svých dvaceti let). Dalším potomkem byla dcera Agnes, která zůstala nepokřtěna, a po ní se narodilo poslední dítě manželů Herrmannových, dcera Gloria, která rovněž nebyla nikdy nepokřtěna. Herrmann se od svých sourozenců lišil v několika podstatných věcech. Jako jediný byl oslovován českou podobou svého jména, i když jen v jinošském věku. Tuto skutečnost si však nevynutila jeho matka , jak se dost často chybně uvádí, ale Herrmannův šílený prastrýc Edmond. Také jako jediný neskončil tragicky. Bratr Vittorio zahynul ve svých 8 letech, když si vykloubil rameno tak nešťastně, že vykrvácel. Sestra Agnes v 18 letech absolvovala ránu pohrabáčem do hlavy, dala se k buddhistům a její stopy se ztrácejí kdesi v Tibetu. Sestru Glorii přejela tramvaj, svého času jediná v Paříži.
A konečně, Mistr se odlišoval od svých sourozenců především svou genialitou. Podle dobových záznamů ji zřejmě podědil po rodičích právě on ( na jeho sourozence se už nedostalo). K jeho genialitě zřejmě přispěl i nervový otřes, který nastal v den jeho 5. narozenin, když spatřil manželku strýce Edmonda, medvědici Sáru z cirkusu Geoffrey. Podle všeho byl Herrmann velice citlivým člověkem. To se projevilo v jeho vztahu k umění, pro které byl ochoten odejít z domova s kočovnou hereckou společností. Herrmann zde měl za úkol hrát Nerona, ale poté, co celé divadlo zapálil, byl nucen společnost opustit, respektive utéci před rozzuřeným tuctem očouzených herců a vrátit se domů. K umění se Mistr později vrátil, když založil v Krupce při Akademii folklorní herecký kroužek "Umcajcaj " Ve 20 letech se zasnoubil s dcerou otcova přítele a kolegy z armády slečnou Aghatou Marií Charlottou de La Sornois d´Holbert - Baugland. Avšak toto zasnoubení trvalo jen velice krátce, jelikož mladou šlechtičnu postihla tragédie - ze zvědavosti chtěla vyzkoušet práci, o které toho tolik slyšela, a při neodborném zacházení s vidlemi se těžce poranila, následkem čehož zešílela a byla odvezena do blázince.Krutý osud tomu chtěl, aby se Agatha zamilovala do snoubencova příbuzného, strýce Edmonda, který se s ní po roce a půl oženil. Herrmann už pak nepoznal skutečnou lásku. Se svou první ženou, Loli Steinerovou, by se pravděpodobně rozvedl i v případě, že by se nedozvěděl, že Steinerová je ve skutečnosti Max von Anton, jelikož si manželé nerozuměli. Steinerová neuměla vařit ani se starat o domácnost a místo u sporáku se neustále točila kolem vysílačky. Rovněž bylo divné, že jí z kapsy zástěry jednou vypadl průkaz německého tajného agenta. Po rozvodu se Herrmann uchýlil do ústraní a stále častěji se vracel ke svým plžům.
Začal ještě více pracovat na svých projektech. Když založil Akademii, přenechal část svých výzkumů svým studentům a vydal se do Tichomoří, kde pobýval do roku 1906. Spřátelil se s králem malého souostroví Bhágy, místní obyvatelstvo naučil řadu praktických věcí civilizovaného světa (např. stávky), zavedl daně a zcela nový systém státní správy, díky které si mohlo nepočetné obyvatelstvo rozebrat důležité funkce ve stáním aparátu. Domorodci si jej velmi oblíbili, a tak, když roku 1919 zemřel bez následníka král Saila VII., byl novým králem zvolen právě Herrmann - tento titul však nebyl oficielní, protože ještě než se stihl na ostrov dostavit, aby byl korunován, nečekaně zemřel v Krupce.
Za celý svůj život poznal Mistr jen několik málo přátel. Mezi nejvýznamnější patřil hospodský Jeroným. Právě u něj během svého působení v Krupce bydlel, jelikož půdní prostory kostela sv. Anny používal spíše ke svým pokusům. V této době také poznal skutečnou vlezlost některých oslizlých obejdů, kteří se dožadovali vstupu, domnívaje se, že v hostinci 6. cenové kategorie dostanou zdarma najíst. Na jeho radu pověsil hospodský Jeroným na dveře hostince ceduli s nápisem " Bez peněz do hospody nelez !!" .Tento originální způsob řešení celého problému se brzy ujal i v jiných hospodách a dnes již klasická věta zlidověla. Dalším přítelem Antoine de Herrmanna byl maďarský profesor István Kéréthy. Roku 1890 se s ním vydal hledat do Rumunska Draculovu hrobku. Přestože mrtvolu transylvánského knížete nenašli, dala by se cesta považovat za poměrně úspěšnou, jelikož se všichni vrátili domů živí. Nevrátili se však zdraví. Jeroným chytil od místních mírumilovných obyvatel kurděje, profesor Kéréthy byl okraden tlupou rumunských cikánů a jen tak tak se mu podařilo uniknout před takřka jistou smrtí sežráním. A Herrmann si vykloubil žaludek při pojídání místních silně kořeněných specialit. S profesorem Kéréthym už nikdy žádnou výpravu nepodnikl, ale dopisoval si s ním až do jeho smrti, která jej zastihla dva týdny po návratu z Rumunska.
Při výčtu Herrmannových přátel nesmíme zapomenou na Carlose, knížete z Clary Aldringenu. Herrmann a Clary - Aldringen byli jakýmisi vzájemnými sponzory. Teplický zámecký pán jej u sebe nějaký čas hostil a půjčoval mu peníze. Herrmann mu je vždy vracel, a když byl zrovna kníže bez prostředků, založil jej Mistr (pokud bylo z čeho). Tato symbióza trvala jen několik málo let, ale přesto se o ní nemůžeme nezmínit. Když se Herrmann opět ubytoval v Krupce, pravidelně Carlose navštěvoval a roku 1894 mu k padesátinám věnoval pravítko pro rýsování podle ruky, které kníže uplatnil ve své pracovně. Rovněž některá literární díla věnoval Clary - Aldringenovi. Za všechny uveďme alespoň román Chamtivec ( 1879 ).
Herrmannovu druhou ženu, Máňu Koplou, raději jako přítelkyni uvádět nebudeme, jelikož v baronově životě figurovala spíše jako protivnice. Byla zakladatelkou " Klubu českých feministek ", zatímco její muž proti ní začal sepisovat petici, kterou donutil podepsat i ji. Založil také společnost " Česko - francouzských antifeministů - maskulinistů ". Tento kroužek ve skutečnosti nikdy příliš nefungoval, ale svůj smysl splnil především svým založením. Dodnes existují důkazy o tom, že se často nudil, ačkoli byl velmi zaměstnán. Roku 1879 založil " Klub konzervativců " a o rok později založil opoziční " Klub reformátorů ". Oba spolky získaly řadu stoupenců, kteří hatili plány druhé strany. Herrmann byl nejprve předsedou obou společností, ale roku 1912 z bezpečnostních důvodů přenechal obě předsednická křesla panu Antonínu Kaiserovi. Rok nato se tato skutečnost provalila a zvolený zástupce obou klubů, zápasník Otto Novotný, ztloukl Kaisera do němoty, hluchoty a slepoty.
Koncem svého rušného a plodného života se Mistr ještě více uzavřel do sebe, zvláště poté co Masaryk odmítl jeho precizně vymyšlené plány na vznik Českofrancouzska. Podle doktora Boubele byla příčinou jeho smrti právě přílišná uzavřenost. Tvrdil zkrátka, že se Herrmann do sebe uzavřel natolik, že už nešel otevřít.