自民・旧安倍派議員が会食 「時が来ればまとまるのも選択肢」の声も