Le Moyen-âge a, quant à lui, laissé pour témoignage les ruines d'un château quadrangulaire, flanqué de tours, bâti du XI^e au XIII^e siècle, qui surmontent un énorme rocher, au seul point accessible de la côte de l'Ouest. 

L'île d'Yeu, après avoir appartenu successivement aux maisons de Rohan, de Rieux et de Rochefort, fut érigée en marquisat en 1710, en faveur de la famille de Rochechouart. Le 2 octobre 1795, le comte d'Artois (Charles X), à la tête d'une armée composée d'Anglais et d'émigrés, débarqua à l'île d'Yeu pour appuyer la prise d'armes de Charette; il y séjourna six semaines sans oser aborder le continent et reprit ensuite la mer pour retourner en Angleterre. 

Philippe Pétain y fut assigné à résidence après son procès et sa condamnation, et y mourut en 1951.