'X Factor'-værten har sæson efter sæson tonet frem i danskernes tv i snart 20 år, men han har ikke vænnet sig til at blive genkendt på gaden.