广州商团叛乱时，中共手里只有一支工团军（民兵性质），陈独秀的大儿子陈延年（在周恩来之后从法国留学归国，接任广东区委委员长，后改称书记)和周恩来相商，应利用这一机会组织一支自己的军队。把这支队伍隐蔽在孙中山的大元帅府名义之下。

11月下旬，广州市内的紧张气氛还没有消除。滇桂军借镇压商团叛乱之机，在城内大肆抢劫，并占据一些街区割据称王。孙中山急切地想建立一支“党军”代替这些军阀武装，蒋介石便利用刚刚毕业的黄埔一期学生组建教导团。当时以陈独秀为首的中共中央还不打算独立建军，可是周恩来、陈延年等人已有一个打算，即通过铁甲车队的建立，除了自己可以直接掌握一支武装外，还可以培养训练共产党的军事干部。

周恩来赶到了大元帅府，面见正准备离粤到北京参加善后会议的孙中山，提出想建立一支革命武装，经费和武器由中共方面自筹。那时广东盘踞着十几支各省的军阀武装，军头混杂，显然再多一支小小的共产党的武装也无所谓，何况又不需要大元帅发钱。于是孙中山一口答应，并答应给一个大元帅府铁甲车队的番号。

有了大元帅发话，共产党建军就有了合法地位。正好11月下旬黄埔军校第一期就要毕业，包括刚刚合并进去的湘军讲武堂共有600名毕业生，里面有80名共产党员，就从军校中调了三个共产党员（徐成章 周士第 赵自选）来筹建铁甲车队。另外，陈延年还从外面调来两个政工干部（廖乾五 曹汝谦）。这三名军事干部和两名政工干部，就是中国共产党建军时最早的骨干，也是铁甲车队成立时仅有的五名党员。由于党员太少，没有建立支部，只有一个党小组，组长是廖乾五。在廖乾五主持下，党小组生活会每周一次，每次除了讨论工作外，都有批评与自我批评的内容，如同基督教伊斯兰教的每周礼拜一次。铁甲车队所有人员的配备与调动，铁甲车队的工作与活动等问题，直接请示陈延年和周恩来解决。

1924年12月上旬，在广州市大沙头的一幢四层楼高的洋房门口，挂起了一块牌子，上书——“建国陆海军大元帅府铁甲车队”。当时因广东的军队番号杂七杂八，多如牛毛，一般人都没有注意到这个新建的小小的军事单位。这是中国共产党领导的人民军队的最早源头

那个时候，中国共产党作为共产国际的一个支部，活动经费主要靠莫斯科方面供应。因铁甲车队只是一个连级单位，所需费用在苏联援助国民党政府的全部金额中只是九牛一毛，于是这个问题经鲍罗廷、加伦等人商量后很快得到解决。在苏俄援助黄埔军校的大批武器中，抽出了100余支日本的“三八式”步枪(均系第一次世界大战时售给俄国的)，10支德造驳壳枪和3挺手提机枪(其实是冲锋枪)交给铁甲车队。另外，还拨给了几辆铁道上用的铁甲车。那时苏俄军事顾问的观念还是搞工人运动和城市斗争，而以后的实际斗争证明这些铁甲车辆对于这支武装并无用处。

在成立队伍时，中共广东区委招募了130名队员，士兵则基本上是从工团军中招来的积极分子和素质较好的农民。这时还是旧军队的雇佣制度

从名义上看，既然是“大元帅府”的铁甲车队，其任务应该是保卫孙中山的住地。实际上，这个番号纯属对外掩护，大元帅府本有一个卫士队，与铁甲车队毫无关系。周恩来出面筹组、由徐成章和周士第领导的这支军队，完全由中共广东区委指挥，从来不去大元帅府。

铁甲车队的政治训练开始由政治教官曹汝谦负主要责任，每天上两小时政治课，晚上组织小组讨论。政治课的内容，是讲授三民主义、社会发展史、工农运动情况、目前国内外形势等等。解释国内外革命斗争形势，分析帝国主义、国内军阀压迫剥削中国人民的罪恶，资本家、封建地主阶级压迫剥削工人农民的事实，以及解决当时队内发生的问题，。队员们经常练习唱歌，最常唱的是<国际歌>、<少年先锋队哥铮、<国民革命歌)以及<工农兵联合歌)等。有时开晚会，队长、队员还凑在一起，表演唱歌、双簧，一起演戏。也经常请外面的人来作报告，例如彭湃就曾到铁甲车队作过关于农民运动问题的报告。继续开展旧军队提倡的“将贵智，兵贵愚”的作法，进行洗脑，铁甲车队几乎变成了一个政治学校。

铁甲车队的伙食费、办公费与杂支费开支账目采取民主管理，每月都定期公布一次，队里对贪污行为是绝对不容许的。队长、党代表和队员的伙食标准一样，都是每月5元至6元左右。大家吃一样的伙食，每月伙食有节余时，大家一齐分，官兵都一样，叫做分“伙食尾”。队员领兵饷，军官也领薪水。兵饷与其他军队的士兵标准相差不多，每月10元左右，却没有军官克扣，干部的薪水在100元以上。不过当时中共中央在内部有规定，党员收入超过30元的部分都要全部交给党组织作为党的经费，所以干部战士的收入差别并不是十分悬殊。

在铁甲车队内，自组建起军事训练也非常紧张地进行，主要内容是射击、投弹、刺杀、利用地形地物、单个动作、夜间动作以及排、连演习等。与黄埔军校的正规战模式相同

这支中国共产党人的第一支军队建立后没几天，有“广东农王”之称的彭湃来到队里。他向中共广东区委反映了情况后，得到同意准备带领这支队伍下乡帮助开展农运。当时地主豪绅收买土匪，组织反动武装攻打农民协会，屠杀农民。彭湃急切地向中共广东区委求援。于是铁甲车队两个排去广宁参加农民运动，有了正规军来撑腰，当地农民马上胆子壮了起来。过了一天，清早就有六七十名农民自卫军出击敌人，与反动地主武装发生战斗。铁甲车队随即赶来增援，声势大振，敌人抵挡不往，纷纷退入江家大炮楼负隅抵抗。是役共击毙敌人数名，缴获几支枪，铁甲车队也有3名队员负伤。随后，铁甲车队又向江家大炮楼发起围攻，因炸炮楼等方式未能奏效，最后采取火攻，迫使那里的地主武装投降。接着，当地其他的一些地主炮楼也缴了械。

在这次斗争中，铁甲车队总共打垮了反动地主武装数千人，消灭了反动地主武装1000多人，缴获了长枪、短枪、土炮、土枪、粉炮总共。2000多件(都用来武装了广宁农民自卫军)，特别是攻破了反动地主依据来压迫农民、剥削农民的封建堡垒江家大炮楼和黄家炮楼，威震当地。被打怕了的当地豪绅，不得不同意农会的减租要求。那时的斗争还没有提出重新分配土地的要求。但是即使是要达到减租这类最初步的要求，也要经过残酷的斗争。

中国共产党领导的第一支武装部队出师第一仗，作战目标就是地主武装，恰恰反映了中国革命战争的主要内容之所在。

1925年2月19日铁甲车队撤离那里返回广州。离开广宁当天，农民们送了酒肉慰劳铁甲车队。广州各界人民、团体也于2月23日在广州公园举行庆祝铁甲车队凯旋大会。庆祝大会召开之日，人山人海，极一时之盛。

之后，铁甲车队的领导们控制了飞机掩护队。在飞机掩护队中，经济不清、盘剥士兵是普遍现象。在这方面入手，又最容易激起下层的情绪。于是，周士第、赵自选注意清查账目，并通过从士兵那里了解情况，了解到原队长林某有严重贪污行为，吃了很多空额，士兵们的伙食很差，生活很苦。于是周赵二人抓住这一机会，发动士兵们起来揭发林某的贪污行为，清算了过去的办公、杂支及伙食帐，调走一些坏分子，建立了每月公布办公、杂支及伙食帐目等制度，士兵们对此非常满意。得到了士兵的拥护，就为开展政治教育创造了机会。周士第、赵自选就势宣传讲解国内外革命斗争形势，特别着重分析帝国主义、军阀压迫剥削中国人民的罪恶，资本家、封建地主阶级压迫剥削工人农民的实事，提高战士们的阶级觉悟。中共广东区委后来又继续补充了一部分工人、农民和青年进来，使队伍的政治成分发生了变化，原第一排排长表现较好，仍然留下；另外两个排长表现不好，则把他们调走，另派了两名党内同志来担任排长。陈延年决定铁甲车队飞机掩护队统归徐成章、廖乾五指挥。

1925年11月中旬中共广东区委决定组建一个团的军队，与第四军军长李济深说妥，从他那里要到一个“第四军第十二师第三十四团”的番号，官兵由共产党方面自己解决。于是，中共周恩来、陈延年等人经过研究，以铁甲车队、飞机掩护队为基础，再从黄埔军校毕业生中的共产党员和进步青年中调一些人当军官，招募湖南、广西的一些贫苦农民，扩编组建一个团。

这时，原来担任过孙中山卫士营长的叶挺从苏联学习回来，并已经是共产党员（秘密党员）。于是，广东区委让他到这个部队当团长。因叶挺是老粤军的军官，与第十二师师长张发奎还是小同乡，关系较熟，容易相处。后来因第四军第十二师又成立了一个第三十四团，共产党人建立的这个团就于1926年春天称第四军独立团，在历史上被人习惯地称为“叶挺独立团”。

一年前成立铁甲车队时130人的队伍，此刻扩大了十几倍（2100人）。