Szwed szerszemu gremium dał się poznać jako prezydent UEFA w latach 1990-2007 (jego następcą był Michel Platini), a także jako główny rywal później skompromitowanego skandalami korupcyjnymi byłego prezydenta FIFA Seppa Blattera.
Za jego panowania w europejskiej federacji między innymi doszło do ogromnej zmiany w systemie europejskich pucharów - powstała Liga Mistrzów, zastępując Puchar Europy, a do uczestniczenia w niej dopuszczone zostały też zespoły, które nie wygrały mistrzostw danych lig. Wszystkie zmiany razem wzięte doprowadziły do błyskawicznego wzrostu prestiżu turnieju, a przede wszystkim - ogromnych zysków finansowych.
Johansson stopniowo wspinał się po szczeblach drabiny stanowisk jako działacz sportowy, bowiem zaczynał najpierw jako jeden z urzędników, a potem prezes AIK (1967-1980), aż wybrano go prezesem szwedzkiej federacji, aż w 1990 roku przejął władanie w UEFA.