1998 wurde das Festina-Radsportteam durch einen Dopingskandal, bekannt als die Festina-Affäre, in Ungnade gebracht.
Virenques Teamkollegen Christophe Moreau, Laurent Brochard und Armin Meier gaben nach ihrer Verhaftung während der Tour die Einnahme von EPO zu und wurden disqualifiziert. Virenque sagte, er sei unschuldig.
Virenque wechselte im Januar 1999 zum Team Polti. Er fuhr 1999 den Giro d'Italia und gewann eine Etappe.
Einige Wochen später tauchte der Name Virenque bei einer Untersuchung von Bernard Sainz auf. Sainz wurde später inhaftiert, weil er als unqualifizierter Arzt praktizierte. Franco Polti, der Leiter des Teams von Virenque, verhängte gegen ihn eine Geldstrafe von 30 Millionen Lire.
Rennleiter Jean-Marie Leblanc verbannte Virenque von der Tour de France 1999. Er wurde von der Union Cycliste Internationale dazu gezwungen, Virenque fahren zu lassen. Leblanc sagte, er hoffe, dass Virenque nicht gewinnen werde. Virenque fuhr auf einem weiss mit roten Punkten gestrichenen Fahrrad, das dem Polkadot-Trikot des besten Bergsteigers ähnelte, aber er gewann den Wettbewerb nicht. Er hatte einen Leibwächter, Gilles Pagliuca.
Im Jahr 1999 schrieb er ein Buch mit dem Titel Ma Vérité. In dem Buch sagte er, er sei des Dopings unschuldig. Er schrieb, dass seine Mannschaftskameraden aufgrund des Drucks der Polizei gestanden hätten, EPO eingenommen zu haben. Er sagte, im Urin von Moreau sei EPO nicht nachgewiesen worden.
Die Festina-Affäre führte im Oktober 2000 zu einem Prozess. Virenque war ein Zeuge, ebenso wie andere Mitglieder des Festina-Teams. Er leugnete zunächst, sich selbst gedopt zu haben, gestand dann aber. Er leugnete jedoch, sich selbst absichtlich gedopt zu haben.
Virenque wurde von den Medien und Satirikern kritisiert, weil er Doping leugnete, obwohl es Beweise dafür gab. Er wurde auch dafür kritisiert, dass er vorgab, ohne sein Wissen gedopt worden zu sein.
Virenque lebte in der Nähe von Genf in der Schweiz, und der Schweizerische Radsportverband suspendierte ihn für neun Monate. Die Strafe wurde von einem unabhängigen Gericht auf sechseinhalb Monate reduziert. Er wurde mit einer Geldstrafe in Höhe von umgerechnet 2.600 Euro belegt und zur Zahlung von 1.300 Euro Kosten verurteilt. Er wurde depressiv.