对于委托代理合同，你有任意的解除权。
1、合同应该是跟律师事务所签订的，你应该去找该所的主任，向他反映情况，要求更换律师或者解除合同。
2、按照规定，如果不是因为律师的原因造成的，律师费是不退的，所以你要有该律师违反职业道德的证据。不过，看你决心很大，律师费已不打算要回了，那就更没有什么顾忌，直接告诉他们解除合同就是了。
3、当然，如果这个律师确实存在违反职业道德、违反法律的事实，你还可以向当地司法部门、律师协会投诉，要求对其进行查处。