因为掌握不了军权被罢相。作为秦国的丞相，吕不韦可谓是大权在握，独掌朝政。但是，吕不韦掌握不了军政。军队的大权，牢牢掌握在秦始皇的手中，因而，秦始皇能轻而易举将其罢相革职。

吕不韦掌握不了军权主要是下面几个原因：

1、在战国时期，军队是君主的命根子，大部分被各国君主牢牢掌控。

2、秦国的军权，一直被秦国本土人士所掌控。

3、吕不韦在秦时掌权时日不长，且根本上谈不上大权独揽。

4、秦始皇并非常人。