Szkot urodził się 25 sierpnia 1930 w Edynburgu i wychowywał się w typowo robotniczej rodzinie. Ten status społeczny skłonił go w stosunkowo młodym wieku do porzucenia szkoły oraz poszukania dla siebie szansy na osiągnięcie czegoś więcej w życiu.
Początkowo szukał szczęścia w armii. Później starał się zarabiać na życie w różnych sposób i tak trafił do teatru, gdzie wykonywał różnego rodzaju prace, które łączył z grą w piłkę nożną w Bonnyrigg Rose.
Connery prezentował się w tym zespole na tyle dobrze, że otrzymał zaproszenie na testy do jednej z czołowej wtedy szkockich drużyn - East Fife.
Aktor dostąpił zaszczytu rozegrania w jej barwach meczu przeciwko lokalnej ekipie i wpadł wówczas w oko przyglądającemu się temu pojedynkowi słynnemu sir Mattowi Busby'emu, który zapragnął ściągnąć go do prowadzonego przez siebie Manchesteru United w 1953 roku.
23-latek dysponował świetnymi warunkami fizycznymi i dlatego praktycznie od razu otrzymał od legendy „Czerwonych Diabłów” propozycję podpisania kontraktu gwarantującego mu 25 funtów tygodniowo.
Szkot był zachwycony otrzymaną propozycją, ale po głębszym namyśle odrzucił ją, ponieważ zdecydował się zostać aktorem.
- Naprawdę chciałem dołączyć do Manchesteru United. Kochałem piłkę nożną. Postanowiłem jednak zostać aktorem i okazało się, że był to jeden z moich bardziej inteligentnych ruchów - powiedział aktor po latach, który nigdy nie ukrywał swojej sympatii do Rangersów, choć początkowo sympatyzował z Celtikiem.
Niedługo później Connery zadebiutował w filmie jako statysta w 1954 roku. Następnie po trzech latach zagrał pierwszą główną rolę w telewizyjnej produkcji „Blood Money”.
Od tego momentu systematycznie piął się w górę aktorskiej hierarchii, co pozwoliło mu stać się rozpoznawalną postacią za sprawą zagrania słynnego agenta Jamesa Bonda. Szkot wcielał się w sumie aż siedmiokrotnie w tę postać w filmach - „Doktor No”, „Pozdrowienia z Rosji”, „Goldfinger”, „Operacja Piorun”, „Żyje się tylko dwa razy”, „Diamenty są wieczne” i „Nigdy nie mów nigdy”.
Na dalszym etapie swojej kariery był ceniony także za odegrane role w takich produkcjach jak „O jeden most za daleko”, „Odległy ląd”, „Nieśmiertelny”, „Imię róży” (BAFTA za najlepszą rolę pierwszoplanową), „Nietykalni” (Oscar i Złoty Glob za najlepszą rolę drugoplanową), „Indiana Jones i ostatnia krucjata”, „Polowanie na Czerwony Październik”, „Twierdza”, „Rewolwer i melonik” oraz „Liga niezwykłych dżentelmenów”, który był jego ostatnim występem na dużym ekranie w 2003 roku.
Connery ostatnie lata swojego życia spędził w Nassau na Bahamach.