不肯花钱的婚外情男人，婚外情男人不花钱要离开他吗？