Durante muchos años, esta sala fue conocida sólo como "Kleine Musikvereinssaal", hasta que en 1937, en el año del 125 aniversario de la Gesellschaft der Musikfreunde de Viena, se le dio un nombre que refleja verdaderamente su importancia: el Brahms Saal. Johannes Brahms no sólo actuó en persona en esta sala, sino que también fue el autor del primer concierto que ofreció Clara Schumann el 19 de enero de 1870. Los estándares establecidos ese día se han mantenido desde entonces. El Brahms Saal sigue siendo uno de los lugares más preciados para los mejores conjuntos de música de cámara y cantantes de lieder que se presentan en el mundo hoy en día.

Con algo menos de 600 asientos, la sala está diseñada para mostrar los aspectos íntimos de la música clásica. La acústica de la sala está perfectamente adaptada para ello: el Brahms Saal - 32,50 metros de largo, 10,30 metros de ancho y 11 metros de alto - posee un brillo acústico similar al del Große Musikvereinssaal.

Cuando se inauguró el edificio de la Musiverein en 1870, la Kleine Musikvereinssaal fue descrita como un "verdadero cofre del tesoro". Incluso se sugirió que esta sala merecía más elogios y admiración que la Große Musikvereinssaal: "Se podría incluso desear conceder el premio a esta sala por su tranquilidad y su simple grandeza". Está muy claro que el diseño de Theophil Hansen para el Brahms Saal creó una obra maestra arquitectónica del período del Historicismo. Su compromiso con el "Renacimiento griego", evidente en las alusiones del diseño a las Hellas clásicas, hacen de esta sala de conciertos un auténtico templo de la música de cámara.

En 1993, Brahms Saal se sometió a un amplio programa de restauración. El proyecto de restauración consistió en la consulta de los diseños originales realizados en la Sala de Impresión de la Academia de Bellas Artes de Viena.  Esto hizo posible reconstruir el esquema de colores original creado por Hansen como arquitecto de la Musikverein: paredes verdes, columnas rojas y el uso liberal del oro.

Cuando el Brahms Saal volvió a abrirse al público en su nueva forma en 1993, un periódico vienés escribió: "Sin querer crear demasiadas expectativas, esta se ha transformado en la sala de conciertos de música de cámara más bella, magnífica y prestigiosa que podemos encontrar en cualquier parte del mundo".