Die Familie hatte drei Kinder.
Sein Vater Jakob spielte Kontrabass und
Horn. Manchmal gab der Vater Konzerte und kleine Ensembles in der Konzerthalle der Stadt.Der Vater haltete die ersten Musikvorlesungen für seinen Sohn.
Danach lernte Brahms das Klavierspiel und Kompositiontheorie bei Otto Cossel.