Det framträder dock ej sällan hos von Müllerns en viss mot denna vilja fronderande hållning.

I lantförsvarskommittén verkade han däremot som en av ledarna för den inom Lantmannapartiet fronderande riktningen försökte han hindra dessas genomdrivande, samma sak vid 1883 års riksdag.

Genom sitt uteblivande från Napoleons och Marie-Louises bröllop (april 1810) ådrog han sig jämte de andre fronderande (" svarte") kardinalerna en förvisning från Paris och fördes till Reims, där han skrev sina memoarer.

I underhuset slöt han sig till " patrioterna", en liten fronderande grupp inom whigpartiet, och angrep Robert Walpoles styrelse så våldsamt, att han fick avsked från sin kornettsyssla ; istället blev han utnämnd till kammarherre hos prinsen av Wales, som själv tillhörde oppositionen.

1874 blev han sekreterare vid skattkammaren i Disraelis ministär, fick 1877 som sjöminister säte i kabinettet och tillhörde efter systemskiftet 1880 den konservativa oppositionens ledande män i underhuset, utsatt liksom sir Stafford Northcote för häftiga angrepp från den fronderande gruppen " fjärde partiet", som fann de gamla officiella ledarna (" the old gang") alltför spaka och beskedliga i deras opposition mot Gladstone.