Verken Høyres avtroppende eller påtroppende leder tror Børge Brende kommer tilbake til norsk politikk.