广州起义失败后,俞作豫按党中央指示,在白色恐怖极其严重的形势下,回到家乡广西北流坚持斗争,先后担任中共北流县委委员、县委书记,陆续恢复了北流、玉林、博白、陆川等县党的组织和农民自卫军。期间,他利用自己和广西省主席俞作柏是兄弟,和广西编遣特派员李明瑞是表兄弟的特殊关系,在军队和地方政府中任用共产党员,发展党的组织,掌握了部分武装的领导权。不久,党中央派遣中央代表邓小平,以及共产党员张云逸等来到广西,组织力量,准备武装起义。
1929年12月和1930年2月,在邓小平、张云逸、韦拔群、李明瑞、俞作豫等领导下,分别举行了百色起义和龙州起义,建立了红七军、红八军和左右江革命根据地。邓小平任中共前敌委员会书记兼红七、红八军政治委员,李明瑞任红七、八军总指挥,张云逸任红七军军长,俞作豫任红八军军长。
百色、龙州起义和左右江革命根据地的建立,给国民党新军阀和帝国主义势力以沉重打击。1930年3月,敌人纠集大批军队围攻左右江革命根据地。俞作豫率领红八军浴血奋战,终因寡不敌众,弹尽粮绝,突围中遭敌人围追堵截,红八军遭到失败,俞作豫在当地农军掩护下脱险,辗转到香港寻找党组织。
1930年8月18日,因叛徒出卖,俞作豫在深圳被国民党特务逮捕,押至广州。敌人对俞作豫软硬兼施,妄图从他口中得到我党组织和红军的情况。面对凶残的敌人,俞作豫坚贞不屈,大义凛然,表现了共产党员视死如归的大无畏精神:“我就是你们要抓的红八军军长、共产党员俞作豫!”他当场留下绝笔诗:“十载英名宜自慰,一腔热血岂徒流”。1930年9月6日,俞作豫高呼着“打倒国民党反动派!”“中国共产党万岁!”“红军万岁!”的口号,在广州黄花岗英勇就义,时年29岁。(新华社北京2月14日电)