Om Liberalerna håller dörren stängd för Sverigedemokraterna i regering blir det svårt att bjuda partiet på stödröster.