在担任上社小学教师期间，他结识了张生华，张所谦等进步青年，他们谈理想、谈抱负，深讨救国救民的途径。民国25年（1936）年，他同张生华等一同参加了牺牲救国同盟会，给学生传授新思想，讲授新文学，宣讲抗日救国的道理，受到学生及当地群众的欢迎，为唤醒民众的抗日意识，起到了积极的作用。民国26年5月刘兆俊毅然离开家乡，考取了国民党忻州军官教导团。4个月后，他被编入决死队。从此开始了他的军旅生活。民国27年，刘兆俊加入了中国共产党，同年参加了八路军，先后参加了百团大战、晋南战役、运城战役、临汾战役、晋中战役、太原战役、解放西北、西南战役、贵州剿匪、抗美援朝等无数次战斗。他身经百战，作战勇敢，不怕牺牲，每次战斗他都出色地完成了上级交给的任务。曾荣获“独立自由奖章”、“解放奖章”等。历任班长、政治指导员、团政治处主任、高炮师干部处处长、空四军后勤部副政治委员等职。
1981年7月刘兆俊病逝于上海，享年65岁。空四军后勤部在为刘兆俊做的悼词中写道：“他的一生是革命的一生，他忠于党，忠于人民，为无产阶级的革命事业奋斗了一生。”