Matthäus wuchs in der mittelfränkischen Kleinstadt Herzogenaurach auf. Im Alter von neun Jahren begann Matthäus beim örtlichen 1. FC Herzogenaurach mit dem Fußballspielen und durchlief die Jugendabteilung des Vereins.
Er begann seine Karriere 1978 in der Landesliga Mitte beim 1. FC Herzogenaurach. Im Jahr darauf wechselte er zum Bundesligisten Borussia Mönchengladbach. Mit 18 Jahren und aus dem Amateurfußball kommend, wurde er in der Fohlen-Elf schnell Stammspieler und absolvierte für den Verein in fünf Jahren fast 200 Pflichtspiele. 1984 kam er zum ersten Mal zum FC Bayern München.