Le groupe est créé en 1984 par des transfuges de l'émission de télévision Petit Théâtre de Bouvard. À l'origine, le groupe nommé « Les Cinq » comporte Didier Bourdon, Bernard Campan, Pascal Légitimus mais également Seymour Brussel et Smaïn. Tous les cinq apparaissent dans leur premier film, Le téléphone sonne toujours deux fois !! (1985), à la suite duquel Smaïn les quitte pour entamer une carrière solo. Ils deviennent alors « Les Cat Car and co ». En 1985, ils sortent un 45 tours : Magic Tango.
En 1986, ils rencontrent Paul Lederman, découvreur de bien d'autres talents (Claude François, Mike Brant, Michel Polnareff, Thierry Le Luron, Coluche…). Ils obtiennent un prix lors du festival de Cannes pour leur performance d'acteur. Le quatuor devient alors « Les Inconnus ».
En 1987, ils débutent sur scène devant 46 spectateurs dans une salle de 1 000 places. Le bouche à oreille aidant, ils font salle comble au bout d'un an. Seymour Brussel les quitte peu après. 1987/1988, le trio anime une émission radio sur Europe 1 : Les Inconnus de l’après-midi. De mai à septembre 1989, les Inconnus et leur spectacle Au secours tout va mieux font salle comble chaque soir au Palais Royal.
En 1990, forts de leur notoriété, ils reviennent à la télévision et lancent La Télé des Inconnus, une série de sketches parodiant les émissions les plus en vogue et les faits de société alors marquants. Le premier sketch est Isabelle a les yeux bleus, parodie de groupes alors populaires, tendance new wave, Partenaire Particulier et Indochine.
En 1991, ils raflent plusieurs récompenses, dont le Molière du meilleur spectacle comique, deux Sept d'or, deux Victoires de la musique (meilleur spectacle, meilleure vidéo)…En 1995, leur premier film pour le cinéma, Les Trois Frères, est un énorme succès avec 7 millions d'entrées et obtient le César de la meilleure première oeuvre quelques mois plus tard. C'est à ce moment-là, en raison de problèmes contractuels avec leur ex-manager Paul Lederman qui détient les droits du nom « Les Inconnus » et leur interdit par contrat de se produire ensemble, que le trio éclate.
Leurs deux films suivants, Le Pari (1997) et L'Extraterrestre (2000) ne réunissent donc que Bernard Campan et Didier Bourdon, tout en conservant un succès certain auprès du public.
En 2001, ayant enfin réglé leur différend avec Paul Lederman, le trio se reforme et fait un nouveau film, Les Rois mages (2001). La même année paraît l'anthologie de leurs émissions télévisées et spectacles sous la forme de VHS et de DVD. La collection Ze Inconnus Story s'est vendue à plus d'un million d'unités.En 2007, chaque membre mène une carrière indépendante.