Per molti anni questa sala fu conosciuta solo come la "Kleine Musikvereinssaal", fino a quando nel 1937, in occasione del 125° anniversario della Gesellschaft der Musikfreunde di Vienna, le fu dato un nome che rispecchia veramente la sua importanza: la Brahms Saal. Johannes Brahms non solo si esibì di persona in questa sala, ma fu anche il primo concerto di Clara Schumann del 19 gennaio 1870. Gli standard stabiliti quel giorno sono stati mantenuti da allora. La Brahms Saal rimane uno dei luoghi più pregiati per i più grandi gruppi di musica da camera e cantanti lieder che si esibiscono oggi nel mondo.

Con poco meno di 600 posti a sedere, la sala è stata progettata per mostrare gli aspetti intimi della musica classica. L'acustica della sala è perfettamente in sintonia: la Brahms Saal - lunga 32,50 metri, larga 10,30 metri e alta 11 metri - possiede una brillantezza acustica simile a quella della Große Musikvereinssaal.

Quando l'edificio del Musiverein fu inaugurato nel 1870, la Kleine Musikvereinssaal fu descritta come "un vero e proprio piccolo scrigno di tesori". Si è addirittura suggerito che questa sala potesse meritare più elogi e stupore della Große Musikvereinssaal: "Si potrebbe anche voler assegnare il premio a questa sala per la sua tranquillità e la sua semplice grandezza". È evidente che il progetto di Theophil Hansen per la Brahms Saal ha creato un capolavoro architettonico dell'epoca dello storicismo. Il suo impegno per il "Rinascimento greco", evidente nelle allusioni del progetto agli Hellas classici, fanno di questa sala da concerto un autentico tempio della musica da camera.

Nel 1993 la Brahms Saal è stata sottoposta ad un ampio programma di restauro. Il progetto di restauro ha comportato la consultazione dei progetti originali conservati presso la Print Room dell'Accademia di Belle Arti di Vienna.  In questo modo è stato possibile ricostruire l'originale schema cromatico creato da Hansen come architetto del Musikverein: pareti verdi, colonne rosse e l'uso liberale dell'oro.

Quando il Brahms Saal ha riaperto al pubblico nella sua nuova forma nel 1993, un giornale viennese ha scritto: "Senza voler suscitare aspettative troppo elevate, questo è stato trasformato nella più bella, magnifica e prestigiosa sala da concerto di musica da camera che si possa trovare in tutto il mondo".