幼年丧父，靠母亲和祖父抚养。少年时，他在故乡桥头小学读书，学习勤奋，后因家贫，中途辍学回家务农。17岁时他便离别家乡，到佛山一间织布厂当针织学徒。

1922年秋，黄居仁得到亲友资助，考入广东省立第一甲种工业学校染织专业学习。在学期间，黄居仁接受了进步思想影响，于1923年夏加入团的外围组织——新学生社，与新学生社领导人阮啸仙、刘尔崧、张善铭、高恬波等商议深入开展青年学生活动，发动青年学生学好功课，参加反帝反军阀斗争。同年下半年，黄居仁加入了中国社会主义青年团，开启了自己的革命斗争之路。

1925年春，黄居仁加入中国共产党，调任团广州地委书记兼组织部长。同年5月，军阀杨希闵、刘震寰在广州发动叛乱，妄图推翻广州革命政府。黄居仁按照中共广东区委、团广东区委的指示，发动广东工团军、农团军中的团员、青年，协助东征军回师平定杨刘叛乱。

1927年4月，蒋介石发动四一二反革命政变，黄居仁回到广州，发动青年、工人参加广州起义。12月11日，广州起义爆发，黄居仁发动工人赤卫队参加进攻敌公安局的战斗。广州起义失败后，黄居仁撤退到东江，被委任为中共惠阳县委书记。

1928年1月5日，广州起义部队余部改编的红四师与红二师会师，使海陆丰革命根据地从海陆丰扩大到海（丰）、陆（丰）、惠（阳）、紫（金）、惠（来）、潮（阳）、五（华）等县。省委巡视员黄钊与东江特委常委林道文在白芒花、惠州、横沥、镇隆四大半围等地巡视工作后，在四大半围召开县委会议，宣布中共惠阳县委直属广东省委领导，并决定由县委书记黄居仁

1928年2月2日，黄居仁依照省委创建苏维埃政权的指示，在四大半围高田村黄氏宗祠召开县委常委会议，制定了暴动计划，部署了组织训练赤卫队武装，扩大土地革命与建立工农兵政权等各项任务。

2月21日，黄居仁主持召开县常委扩大会议，通过惠阳县苏维埃组织法等规定和实行土地革命决议案，酝酿通过苏维埃政府组成人员提名和4月份暴动计划。26日，惠阳县工农兵代表大会310多人在四大半围岗头村杨氏宗祠召开，大会选举产生县苏维埃政府，以黄居仁等11人为苏维埃政府执行委员，罗汉珊为主席。宣告惠阳县苏维埃政府正式成立。

1928年春，根据中共广东省委指示，黄居仁重返广州，参与恢复健全党、团组织工作，以反击国民党反动派的大屠杀，黄居仁妻子张雪英在中共广州市委内从事青年团工作，他和张雪英并肩战斗，在国民党监视下发展党组织活动。