1925年11月，中共廣東區委軍事部長周恩來多方努力，以鐵甲車隊為基礎，組建國民革命軍第四軍（軍長李濟深） 第十二師三十四團，任命剛從蘇聯回國的共產黨員葉挺為團長，周士第為參謀長。廖乾五升任第十二師政治部主任，隨第四軍討伐廣東省南路軍閥鄧本殷。對部隊進行常識教育，把政治工作做到民眾中去，是廖乾五開展軍隊政治工作的一個顯著特色。南征戰斗中，由于廖乾五領導的政治工作在聯系民眾、鼓舞士氣等方面所起的重要作用，南征主力師官兵同仇敵愾，奮勇殺敵，和友軍一起，經過短短兩個月戰斗，鄧本殷軍便土崩瓦解，一敗涂地，鄧乘船逃往國外。至此，廣東南部獲得解放，全省統一，南征取得完全勝利。
1926年7月，國共兩黨共同進行的北伐戰爭在“打倒列強，除軍閥”的雄壯口號聲中正式開始。7月10日，獨立團攻占湘東重鎮醴陵，各界群眾舉行歡迎大會，廖乾五等發表熱情洋溢的講話。會后，各界團體推舉廖乾五任縣行政委員會委員長（即縣長）。廖乾五在師團軍會議作戰前動員時說：攻下平江，為北伐戰爭統一祖國立功，即使受傷殘廢了，犧牲了，垂光祖國，也是光榮的。簡短的幾句話，給到會軍官以極大的鼓舞。此役，不到10小時，攻占了平江城，俘敵1000余名，繳獲大炮11門，各種槍支1000余支。
在北伐戰爭時，軍隊的政治部主任是沒有指揮部隊作戰的權利的。但是，廖乾五由于過去久居楚地，熟悉當地地理環境，善于謀略。為了“以求達到農民和工人之利益”，他主動參與籌劃和指揮了第四軍在兩湖的重要戰斗。汀泗橋戰役和賀勝橋戰役的勝利為北伐軍清掃了通往武漢的道路，極大地鼓舞了全國人民的斗志，有力地推動了兩湖工農運動。
9月中旬，第四軍政治部主任由廖乾五代理。攻克武昌前夕，廖乾五以全部精力投入攻城的各項準備工作。10月8 日夜，廖乾五派軍政治部宣傳隊員數人爬墻進入城內，張貼布告、標語，散發傳單，動員敵軍投降并宣傳安撫城內群眾。10月10日凌晨2時許，陳可鈺、廖乾五督促第四軍，會同第八軍猛攻武昌城，激戰至上午8時攻克收復武昌城。
在北伐戰爭中，以廖乾五任政治部主任的第四軍打得最好，被譽為“鐵軍”。第四軍尤其是第十二師和葉挺獨立團之所以在軍事上取得一系列勝利，與中國共產黨重視軍隊政治工作和廖乾五在四軍出色的政治工作有很大關系。廖乾五以其政治工作的卓越成績，受到中共中央軍事部長周恩來和蘇聯軍事顧問戈列夫的高度評價，“鐵軍”政治部主任廖乾五名揚全軍。
