1927年10月下旬，廖乾五在中共中央機關擔任中央直屬機關黨小組組長，任務是接待和組織全國各地到中央報到、等待分配工作的黨員學習文件，總結革命斗爭的經驗和教訓。隨后，他被分配到中共中央軍事部（一度改為中央組織局軍事科）工作。由于他在北伐戰爭中名聲大，認識他的人很多，不宜外出活動，因此他主要搞機關內部工作。這一階段，他抓緊時間讀了不少書，回顧總結大革命以來的工作和經驗教訓，經常和一起工作的同志交談，教導青年同志從事地下斗爭的方法和策略。他雖然年紀大、資格老、威信高，但謙虛謹慎，平易近人，說話幽默風趣，而且為人慷慨大方，喜歡幫助別人，儼然是一位和藹可親的老大哥，深受同志們的敬重和愛戴。周恩來很關心廖乾五的工作和生活，曾多次晚上化裝到承德路一條小巷廖的住處去看望他。
1928年春，中共中央派廖乾五到北方工作。他到北平后，立即受到國民黨特務的跟蹤，被迫一日數遷，無法開展活動。在高文灝（又名高幼湘，是廖在武漢時教過的學生，時在北京大學上學）的資助下，他化裝秘密離開北平，到密云縣暫時隱蔽。當時密云縣城駐扎著軍閥的部隊，兵多百姓少，無法活動立足，廖乾五只好輾轉仍回上海，在中央軍委工作。
1929年，中共中央又派廖乾五到中共湖南省委從事地下工作。1930年廖乾五在中共湖南省委軍委任職，負責兵運工作。任職不久，即不幸被國民黨湖南當局秘密逮捕，作為“要犯”羈押入獄。
廖乾五投身革命多年，出生入死，身經百戰，憂國而忘家，早已把個人生死利害置之度外。因而被捕后，任憑敵人威脅利誘，軟硬兼施，他橫眉冷對，沉靜坦然，絕口不談黨和軍隊的任何機密。國民黨湖南省主席何鍵懼于廖乾五在軍界和民眾中崇高的威望和影響，不敢公開審訊，于1930年9月3日下令將他在長沙市郊秘密殺害。
廖乾五犧牲時，年44歲。他沒有子女，沒有留下遺物，也沒有留下遺言。他自1921 年起投身于共產主義事業，就隨時準備獻出自己的生命。1927 年春，他在籌備“鐵軍”陣亡將士追悼大會的啟事中寫道：“革命的流血本算不得什么稀奇的事，因為沒有流血犧牲的代價便換不到革命勝利，我們后死者對于這個看得十分明白。”他的這段赤誠而豪邁的肺腑之言，可算作烈士的不朽遺言。
無產階級革命的忠誠戰士廖乾五永垂不朽！安康人民永遠崇敬和緬懷你！
