Arrangør begrunder ikke aflysning, men polsk kulturminister har udtrykt bekymring over Kanye Wests udtalelser.