L-toppen kan lämna politiken efter SD-beskedet