Szkot rozpoczynał swoją piłkarską karierę w Stockport County, skąd po czterech sezonach przeniósł się do Arsenalu. W drużynie "Kanonierów" pokazał się z bardzo dobrej strony zdobywając 107 bramek w 180 spotkaniach. Dobra forma zaowocowała transferem do Manchesteru United w 1961 roku za kwotę 35 tysięcy funtów.
Herd był ważną częścią odbudowy zespołu "Czerwonych Diabłów" po katastrofie lotniczej z 1958 roku. Jego dwa trafienia znacznie przyczyniły się do wygrania przez United FA Cup w 1963. Z klubem z Old Trafford zdobył też dwa mistrzostwa Anglii (wtedy jeszcze First Division) oraz Puchar Europy. Po rozegraniu 265 meczów, w których trafił do siatki rywala 145 razy, przeniósł się do Stoke City. Karierę kończył w 1971 roku w irlandzkim Waterford United.
Były napastnik w ciągu swojej kariery zapracował sobie na pseudonim "Hot Shot". W niedzielnym spotkaniu jego byłych klubów, Manchesteru United ze Stoke, piłkarze obu drużyn uczcili jego pamięć zakładając czarne opaski.