1919年五四爱国运动爆发后，张善铭深受鼓舞，与同学一起上街游行，搜查日货。同年秋，张善铭考入广东省立第一甲种工业学校。读书期间，受阮啸仙、刘尔崧等人的影响，阅读了各种进步书刊，如《新青年》《社会主义史》等，思想更趋进步，他积极参加反帝反封建的各种运动，与阮啸仙、刘尔崧、周其鉴一起被誉为“甲工”的“四大金刚”。

1921年7月，中共一大在上海召开。8月，广州代表陈公博返粤传达大会精神，张善铭与谭平山、阮啸仙、周其鉴、刘尔崧等10多人参加了这次会议。经谭平山介绍，张善铭加入了中国共产党，成为广东支部的首批成员，亦是潮梅籍加入中共的第一人。在中共广东支部的领导下，张善铭更积极地投入到培养工人群众运动骨干，组织开展工人运动，发展党、团组织的工作中。

1923年10月，张善铭担任团广州地委委员长。为了团结和争取更多的进步青年同各种非马克思主义思潮作斗争，张善铭与阮啸仙等人，先后组织了爱群通讯社、新学生社等团体，以新学生社的名义，召开了广州各大中学校的学生代表会议，成立统一的学生联合会，并在学生会中建立党、团组织，改造广州地区形形色色的学生团体。

1924年，张善铭被党组织选派去苏联莫斯科东方大学学习，次年2月结业回国，当选为青年团广东区委书记。不久，担任国民革命军第四军政治部主任，随军南讨。

1926年3月，国民革命军准备北伐，张善铭因体质较弱，离队治病。同年9月，调任中共海陆丰地委书记。为了提高党员素质，在海丰县城举办党员骨干训练班，常向学员作政治形势报告。

1927年4月15日，广州国民党反动派发动反革命政变，疯狂屠杀共产党人和革命群众.张善铭处乱不惊，与彭湃先后组织三次发动海陆丰工农武装进行暴动，建立苏维埃政权，打击了反动派的嚣张气焰。

1927年11月，张善铭调任中共广东省委常委，参与策划广州起义。广州起义失败后，张善铭在香港负责收容起义流散人员，并任中共广东省委代理书记。

1928年1月，张善铭担任中共北江特别委员会书记，指导和推动了北江农民暴动。