Markante spillerafgange og skader i forsvaret har vanskeliggjort situationen for Silkeborg, siger direktør.