Niemiecki szkoleniowiec jest jedną z największych legend Werderu Brema, w którym spędził nieprzerwanie 41 lat życia. W klubie pojawił się, gdy skończył jedenaście lat i dołączył do drużyny młodzików. W późniejszych latach przeszedł tam przez wszystkie szczeble drużyn juniorskich, trafił do zespołu rezerw i ostatecznie pierwszego zespołu, w którym zakończył karierę. W międzyczasie rozpoczął trenowanie juniorów, by po raz kolejny się przebijać i ostatecznie zostać pierwszym szkoleniowcem klubu. W tej ostatniej roli pracował przez czternaście lat, aż do 2013 roku.
Po opuszczeniu zespołu „Die Grün-Weißen” Schaaf próbował swoich sił w innych drużynach z Bundesligi, czyli Eintrachcie Frankfurt i Hannoverze 96, jednak tam nie szło mu już tak dobrze. Aktualnie 56-latek pozostaje bezrobotny i Werder zastanawia się nad jego ponownym zatrudnieniem, jednak w zupełnie nowej roli.
Schaaf miałby zostać zatrudniony w klubie jako dyrektor techniczny. Jak sam przyznał, nie miałby zamiaru ingerować w pracę trenera Alexandra Nouriego, a jedynie poprawić funkcjonowanie klubu pod względem strukturalnym. 56-latek miałby również popracować nad filozofią zespołu i szkoleniem.