L’histoire du Club Vosgien commence dans les années 1860. En Allemagne, le Schwarzwaldverein, première organisation touristique de randonnée en Europe est crée en 1864. Un botaniste émérite et professeur à la faculté de pharmacie de Strasbourg, M. Kirschleger, souhaite mettre en place une structure identique en Alsace mais le décès de ce dernier et la guerre franco-allemande de 1870-71 ne permettront pas la concrétisation du projet.

C’est en 1872 qu’un magistrat allemand installé à Saverne, Richard Stieve, lance à nouveau l’idée d’une société touristique dans les Vosges. Le Club Vosgien sera fondé le 31 octobre 1872 à Saverne sous le nom de Vogesenclub. Neuf associations (dénommées sections) participent en décembre 1872 à l’assemblée générale constitutive qui se tient à Strasbourg. Très rapidement d’autres sections se créent avec la mise en place d’un comité central pour gérer l’organisation globale.  Le premier président du Club Vosgien (1873-1876) est M. Nuerburg, président du tribunal de Strasbourg. Son insigne est la feuille de houx. Le Club Vosgien est reconnu d’utilité publique le 30 décembre 1879.

Depuis sa création, le Club Vosgien œuvre pour le développement du tourisme dans les Vosges en balisant des sentiers de randonnée et en réalisant des aménagements touristiques pour rendre le Massif des Vosges accessible au plus grand nombre. Entre 1890 et 1910, le Club Vosgien procède à la construction de tours belvédères sur les sommets du Grand Wintersberg, du Wasenkoepfel, du Brotschberg, du Climont, du Champ du Feu, du Heidenkopf, de l’Ungersberg et du Faudé. En 1932 la tour de Drince est érigée à Rombas en Moselle.

Pour fêter ses 25 ans d’existence en 1897, le Club Vosgien crée l’itinéraire « traversée du massif des Vosges », balisé rectangle rouge. Cet itinéraire de 430 km de Wissembourg à Fesches-le-Chatel sera labellisé GR®5 à partir de 1946 et fait partie d’un itinéraire qui relie la mer du Nord à la Méditerranée en passant par le Mont Blanc.

En 1921, l’administration des Eaux et Forêts accorde au Club Vosgien le monopole du balisage des sentiers : cette décision permet de développer un balisage homogène et un réseau cohérent à travers tout le massif vosgien et aux alentours.

Malgré les vicissitudes du temps (deux guerres mondiales avec leurs difficultés et leurs destructions), le Club Vosgien a toujours maintenu son existence et a poursuivi son développement au fil des années. En décembre 1946 le Club Vosgien compte 6 000 membres et 66 associations.

Le Club Vosgien se transforme en Fédération lors de l’Assemblée générale de Sarreguemines le 27 mai 1995. Aujourd’hui, la Fédération du Club Vosgien regroupe plus de 120 associations réparties dans les départements du Bas-Rhin, Haut-Rhin, Vosges, Territoire de Belfort, Meurthe-et-Moselle et Moselle ainsi qu’une association à Paris et une autre dans le Gard. Les bénévoles des associations œuvrent au balisage et à l’entretien de plus de 20 000 km de sentiers dans le Massif des Vosges.

Le Club Vosgien contribue depuis ses débuts à l’édition de cartes de randonnée et de guides de randonnée (le premier guide du Club Vosgien a été publié par C. Mündel en 1881).