曾楚霖于香港出生,毕业于上海圣约翰大学,精通粤语,普通话,英语和日语。曾在第二次世界大战期间,为国民政府担任情报员。战后投身演艺圈,担任演员及副导演,演出大量电影。
1976年10月15日加盟无线电视,擅长演出小人物,低下层及道友。在1982年无线电视台庆,曾楚霖获发赠“长期服务特别奖”。擅长舞蹈,为电影明星陈厚的“替舞者”。
跟据著名播音员李我先生的著作及电台访问内容,他在1948年曾经跟上海明星周璇恋爱同居并育有一位儿子。他第四儿子为曾彼得。1988年9月12日晚上在九龙城培民村住所里,被女儿发现依窗昏迷,送院不治,医生发现他的后脑出血,享年67岁。1988年9月19日上午11时30分在红磡的世界殡仪馆举行丧礼,遗体同日在歌连臣角火葬场被火化。
与曹达华,乔宏等为同时代影星,不过因相貌太稀松平常从未演出主角。他擅长扮演底层的猥琐的角色,《鬼马双星》中扮演许冠文监狱里的朋友,《半斤八两》里扮演在戏院放炸弹的家伙,《上海滩》里扮演冯敬尧身边的“祥叔”。