Gilbert Varga studierte zunächst Violine bei seinem Vater Tibor Varga. Bereits Anfang der 1970er trat er als Solist mit den Hofer Symphonikern auf, bevor er unter anderem bei Franco Ferrara und Sergiu Celibidache zum Dirigenten ausgebildet wurde. Seine Anstellung als Chefdirigent der Hofer Symphoniker von 1980 bis 1985 führte zu einer langjährigen und vertrauensvollen Beziehung. Varga, der von 2001 bis 2012 Dirigent der Finalrunde des Brüsseler Queen Elizabeth Wettbewerbs war, bringt seit 2008 seine Expertise als Juryvorsitzender und künstlerischer Berater beim Internationalen Violinwettbewerb Henri Marteau ein.
Von 1985 bis 1990 war Varga Chefdirigent der Philharmonia Hungarica. Nach Stationen in Stuttgart und Malmö wurde er 1997 zum Musikdirektor des Baskischen Nationalorchesters ernannt. Er war Chefdirigent des Taipei Symphony Orchestra und zuletzt zwischen 2019 und 2021 Chefdirigent des Pannon Philharmonic Orchestra in Ungarn.
Als Gastdirigent konzertierte Varga mit vielen der weltbesten Klangkörper, darunter das Philadelphia Orchestra, das Rundfunk-Sinfonieorchester Berlin, das Orchestre de Paris, das Oslo Philharmonic und das Sydney Symphony Orchestra. Zu finden in Vargas umfassender Diskographie sind seine Einspielungen von Konzerten von Ravel und Prokofieff mit dem Deutschen Symphonie-Orchester Berlin und mit Anna Vinnitskaya auf Naïve Records, die fünf Sterne vom BBC Music Magazine erhielt.