Starmers modstandere må pege på, hvem der ville egne sig bedre som Labour-leder, siger vicepremierminister.