Après la défaite des confédérés, le pays des Rutènes fit partie de la Province romaine, qui s'étendait jusqu'au Tarn, derrière lequel de nombreuses populations insoumises s'étaient établies et étaient désignées sous le nom de Rutènes indépendants. Ces derniers combattirent avec Vercingétorix et, après leur résistance, se soumirent à César. Le pays des Rutènes, sous Auguste, fut compris dans l'Aquitaine et participa aux bienfaits de la civilisation romaine. 

Vers le milieu du III^e siècle, saint Martial vint y prêcher le Christianisme et fonda l'église de Ruténa. Le nombre des Chrétiens au V^e siècle était considérable, et cependant la Venus celtique, Rut, y avait conservé de fidèles adorateurs. L'évêque Amans fut, plus tard, le représentant des populations christianismées auprès des autorités romaines, et, sous Honorius, parvint à les faire exempter d'un impôt écrasant. 

Lors des grandes invasions barbares, l'Aquitaine appartint tour à tour aux Wisigoths en 472, aux Francs en 507 et de nouveau aux Wisigoths en 512. Elle passa ensuite sous la domination des rois d'Austrasie, des ducs d'Aquitaine et de Pépin le Bref. Sous Charlemagne, l'Aquitaine devint un royaume, et le Rouergue, qui en faisait partie, fut divisé en comtés.

Charles le Chauve ajouta au domaine des comtes de Rouergue le comté de Toulouse. Cette annexion donna lieu plus tard à de longues guerres entre les deux comtés, jusqu'en 1271. A cette époque, l'unique heritière des comtés de Rouergue étant morte sans postérité, la province fut réunie à la couronne.

Cependant Rodez et Millau appartenaient encore aux comtes d'Armagnac. Un d'eux, Jean I^er, dit le Bon, épousa Béatrix de Clermont, comtesse de Charolais, princesse de sang de France. Ce fut un de leurs petits-fils, Bernard le Connétable, qui, en 1418, fut massacre à Paris par le parti bourguignon. Son père, Jean, ayant également péri, les comtés d'Armagnac et de Rouergue revinrent à son fils Jean IV. Celui-ci, maigre son amour de la paix, eut à soutenir la guerre contre Charles VII, qui envoya le Dauphin dans le Rouergue. Ce prince, qui fut plus tard Louis XI, s'empara d'Entraygues, de Rodez et de Sévérac-le-Château. Jean V, fils et successeur de Jean IV, s'étant rendu coupable de trahison envers Louis Xl, fut assiège dans Lectoure et, après une longue résistance, fut massacré avec ses enfants dans le château de cette ville. Sa veuve s'était réfugiée à Castelnau-de-Bretenoux; ses ennemis impitoyables, voulant anéantir la postérité du comte et sachant qu'elle était enceinte, la forcèrent à prendre un breuvage abortif.

Charles, frère de Jean V, succéda à celui-ci. Il fut le dernier comte d'Armagnac et mourut en 1497, sans autre héritier que Charles d'Alençon, son petit-neveu, qui épousa Marguerite de Valois, soeur de François I^er. Il mourut sans laisser d'enfants, en 1525. Sa veuve épousa Henri Ill d'Albret, roi de Navarre, dernier descendant d'Anne d'Armagnac, fille du connétable Bernard. Ainsi se trouvèrent confondus tous les droits à la succession des comtes d'Armagnac. Jeanne d'Albret fille unique de Marguerite et de Henri d'Albret, fut reine de Navarre et comtesse de Rodez. Elle épousa Antoine de Bourbon, et son fils Henri de Bourbon, qui lui succéda en 1572, devint roi de France sous le nom de Henri IV et réunit Rodez et tout le domaine d'Armagnac à la couronne de France. L'avènement de Henri IV rendit la tranquillité au Rouergue, longtemps ensanglanté par les Guerres de Religion.

Le Rouergue avait ses états, qui, dans l'origine, se tenaient chaque année à Rodez et plus tard s'assemblèrent à Millau, à Villefranche-de-Rouergue, à Sauveterre et à Salles-Comtaux. Ils se réunissaient sous la présidence de l'évêque de Rodez et existèrent jusqu'en 1651.

Le département de l'Aveyron a été constitué à la Révolution, avec le Rouergue, qui se divisait alors en trois parties : le comté proprement dit, capitale Rodez ; la Basse-Marche ou Bas-Rouergue, capitale Villefranche; et la Haute-Marche ou Haut Rouergue, capitale Millau. Ce département n'a plus été ensuite le théâtre aucun événement important. (A19).