Pendant cinquante ans, Mengelberg a été à la tête de l'Orchestre du Concertgebouw d'Amsterdam qui n'avait que sept ans d'existence lorsqu'il en prit la direction en 1895.
Il a effectué un long travail pour le hisser au niveau des plus grands orchestres, son exigence n'ayant d'égale que son enthousiasme communicatif pour la musique.
En quelques années, Mengelberg a fait du Concertgebouw l'un des rares orchestres du monde capables de s'adapter aisément à tous les styles et aux musiques de toutes les époques.
Il s'est engagé avec passion pour l'oeuvre de Gustav Mahler et celle de Richard Strauss, qui ont souvent dirigé eux-mêmes à Amsterdam. Il a été très curieux et intéressé par la musique de son temps, faisant connaître aussi bien Tchaïkovsky en 1896 que Debussy, Ravel, Schönberg et Stravinsky au début du XX° siècle ou Bartok, Kodaly et Tansman entre les deux guerres.

Willem Mengelberg est né à Utrecht le 28 mars 1871 dans une famille d'origine allemande. Il travaille avec Richard Hol, Henry Wilhelm Petri et Anton Averkamp dans sa ville natale, puis au Conservatoire de Cologne où il étudie la direction, la théorie et la composition avec Franz Wüllner (1932-1902) ami et élève d'Anton Schindler qui avait été lui-même l'ami et le secrétaire de Beethoven. Il étudie le piano avec Isidor Seiss (1840-1905) qui avait travaillé avec Friedrich Wieck, le père de Clara Schumann.
Les premières années de sa carrière sont consacrées au piano mais il est vite attiré par la direction d'orchestre et est nommé directeur de la musique à Lucerne en 1891 (il a 20 ans !) grâce aux chaleureuses recommandations de ses professeurs.

Il revient aux Pays-Bas en 1895 pour remplacer Willem Kes à la tête du Concertgebouw d'Amsterdam. En 1897, il prend également la direction du Toonkunstkoor avec lequel il donnera chaque année la Passion selon St Matthieu de J.S. Bach et de nombreuses oeuvres chorales.
Il dirige pour la première fois à Paris en 1907, à Rome en 1908 et se rend régulièrement à Moscou et St Petersburg à partir de 1909. C'est là qu'il rencontrera Modeste Tchaïkovsky qui, enthousiasmé par ses interprétations, lui confiera le manuscrit revu et corrigé de la 5° Symphonie de son frère. C'est cette version, négligée aujourd'hui, que Mengelberg dirigera.
De 1907 à 1920, il est à la tête des Musuemkonzerten de Francfort et, entre 1911 et 1914, il dirige régulièrement les concerts de la Royal Philharmonic Society à Londres.

En 1905, il effectue son premier séjour aux Etats-Unis où il retourne régulièrement avant de prendre la direction du National Symphony Orchestra (1921-1929) qui deviendra sous son instigation l'Orchestre Philharmonique de New-York. Il dirige de nombreuses premières américaines, des oeuvres de J.S. Bach, Bruckner (9° Symphonie),
Debussy (La Mer), Glazounov (4° Symphonie), Mahler (Symphonies 2, 5 et 7 - Le Chant de la Terre), Milhaud, Respighi, Roussel, R. Strauss, Stravinsky, Sweelinck, Szymanowski, Tansmann, Vivaldi...

Il partagera quelques saisons avec Wilhelm Furtwängler, mais l'arrivée désastreuse de Toscanini mettra fin à cette ère. La grande tournée européenne pour laquelle Mengelberg avait tant travaillé sera finalement dirigée par Toscanini. Suite aux intrigues du chef italien, ni Mengelberg, ni Furtwängler ne retourneront aux USA.
Il apparaît à la tête des plus grands orchestres européens et son succès est considérable.
C'est en 1933 que l'Université d'Utrecht crée une chaire à son intention.

Mengelberg a été celui qui a le plus oeuvré en faveur de la musique de Mahler. Pour ses 25 ans à la tête du Concertgebouw en 1920, il dirigea l'intégrale des oeuvres de Mahler.
Il organisa des festivals consacrées, entre autres, à la musique française (1922) et à la musique néerlandaise (1902, 1913, 1935).
Richard Strauss lui a dédié Ein Heldenleben, Rachmaninov Les Cloches, Kodaly Les Variations Peacock.

Parmi les oeuvres du XX° siècle qu'il a créées, on peut citer le 2° concerto pour violon de Bartok (1939), le concerto pour violon de Hindemith (1940), Hary Janos et les Variations Peacock de Kodaly etc...