大革命失败后,白色恐怖笼罩全国。刘谦初根据党的指示,先到江苏省委工作,后经上海去福建。1928年9月,在福建省第一次党代会上,他被选为中共福建省委书记。1929年初,党中央调他到山东工作,以齐鲁大学助教身份作掩护。面对险恶环境,他把个人生死置之度外,常常冒着危险,来往于济南、青岛等地,夜以继日地工作,传达党中央的指示,宣传鼓舞群众,揭露敌人的罪行,组织对敌斗争,很快恢复、重建和发展了被敌人破坏的党组织,重新组成中共山东省委,并担任省委书记兼宣传部长。1929年7月,他按党中央的指示,和青岛市委的同志一起,领导和发动了持续了40多天的青岛大康、隆兴和富士等七大纱厂的总同盟大罢工,给反动当局和日本帝国主义以沉重打击。
1929年8月6日,刘谦初经青岛赴上海向党中央汇报工作时,不幸被捕入狱。在国民党济南警备司令部监狱里,敌人用尽了各种威逼利诱的办法,对他施以坐铁笼、上压杠、灌辣椒水等种种酷刑,打得他血肉模糊、遍体鳞伤,但丝毫动摇不了他的意志。就义前夕,刘谦初在给妻子的遗书中写道:“望你不要为我悲伤,希你紧记住我的话,无论在任何条件下,都要好好爱护母亲(指党)!孝敬母亲!听母亲的话!”
1931年4月5日,刘谦初戴着沉重的镣铐,高唱着《国际歌》,高呼着“中国共产党万岁”、“打倒国民党反动派”的口号,大义凛然地走向刑场,英勇就义。牺牲时年仅34岁。(新华社北京11月17日电)