ভোটের মাঠে প্রভাবশালী বাবর, ছাড় দিতে নারাজ জামায়াত