Op het functioneren van Miltenburg is al langer kritiek. Zeker acht fracties in de Tweede Kamer zien haar liever vertrekken. Een van de fractievoorzitters noemt de toestand rond de Kamervoorzitter een 'lijdensproces' en 'een zichzelf versterkend probleem'. Een andere fractievoorzitter zegt dat de functie 'een maatje te groot' is voor Van Miltenburg.
Als het kabinet valt, is dit probleem ook opgelost. Maar als het kabinet nog drie jaar blijft zitten? Dan blijft zij ook, dat is echt te lang. Dat is niet in het belang van de politiek.' Een derde fractievoorzitter: 'Onze fractie zal niet het initiatief nemen haar af te zetten, maar ze is totaal ongeschikt. Eerst werd ik boos op haar, nu heb ik medelijden.'