江苏上海人。光绪三十三年(1907年)上海圣约翰大学医学部毕业后，赴英国剑桥大学深造，获医学博士学位，为英国皇家外科学会会员，并领有皇家内科学会开业证书，任伦敦医院主任医师。第一次世界大战期间参加救伤工作，任伦敦叶普斯惠区医院、密它瑟斯医院重伤外科手术主任医师。民国8年(1919年)回国,任仁济医院副院长兼外科主任。翌年在祁齐路(今岳阳路)自设霖生医院。时英国驻香港总督重病，电请该国政府派良医救治，英国卫生部电复嘱请牛惠霖往诊，不久治愈，此事轰动香港，传为佳话。民国12年，日本关东地震，中国红十字会派理事长庄得之及医务长牛惠霖组织救护队东渡救助，获“日本赤十字会纪念勋章”。

牛氏医术高超。民国16年、21年红军将领陈赓腿部负重伤两次秘密来沪就医，均由牛惠霖与其弟骨科专家牛惠生精心治愈。一·二八淞沪抗战期间，牛氏与宋庆龄、何香凝等组织战地救护工作，在上海、苏州两地设立伤兵医院，牛氏出任上海地方协会救护伤兵第一医院院长、上海公共租界万国商团华队军医长，以其在欧战中的救伤经验，组织指挥并参与救治大批伤病员。

牛氏曾任中国红十字会总医院院长兼红十字会时疫医院、西藏路时疫医院院长，上海圣约翰大学教授，中华医学会第五届会长，并在重要医疗卫生行政机构担任要职及医事顾问，对医疗卫生事业贡献甚多，被誉为“中国医界之柱石”。