L'orogenèse s'inscrit principalement dans le cadre de la tectonique des plaques. La lithosphère terrestre est divisée en plaques rigides qui se déplacent les unes par rapport aux autres sur l'asthénosphère. Les limites convergentes constituent les environnements orogéniques les plus importants, car la convergence impose à la lithosphère des contraintes compressives susceptibles de provoquer son raccourcissement, son épaississement et son soulèvement. Toutefois, une chaîne de montagnes ne se forme pas nécessairement lors d'une simple collision continent-continent. Les processus orogéniques peuvent commencer bien avant la collision, notamment dans les zones de subduction où une plaque océanique plonge sous une autre plaque. Ils peuvent également se poursuivre longtemps après la collision, tandis que l'érosion, les réajustements isostatiques, la tectonique extensive et les mouvements latéraux remodèlent progressivement l'édifice.

La subduction constitue fréquemment le stade initial d'un cycle orogénique. Lorsqu'une plaque océanique froide et dense converge vers une autre plaque, elle peut être entraînée dans le manteau sous l'effet de sa densité. La plaque plongeante forme une zone de subduction inclinée qui peut atteindre plusieurs centaines de kilomètres de profondeur. La flexure de la plaque océanique produit généralement une fosse océanique, tandis que les sédiments accumulés sur le plancher océanique sont progressivement déformés et peuvent être incorporés à un prisme d'accrétion. Dans certains cas, une partie des matériaux sédimentaires et de la croûte océanique est raclée contre la plaque chevauchante plutôt que subductée. Cette accumulation tectonique contribue à la croissance de la marge continentale.

La subduction entraîne également d'importants phénomènes magmatiques. Lorsque la plaque océanique descend dans le manteau, elle libère progressivement de l'eau et d'autres fluides à la suite de réactions métamorphiques. Ces fluides remontent dans le manteau sus-jacent et abaissent sa température de fusion. Il se produit alors une fusion partielle de la péridotite mantellique, générant des magmas basaltiques à andésitiques. Ceux-ci remontent vers la croûte et peuvent donner naissance à des complexes plutoniques ou à des édifices volcaniques. Les arcs volcaniques associés aux zones de subduction constituent ainsi des éléments caractéristiques de nombreuses marges orogéniques. Les Andes fournissent un exemple majeur de ce type d'orogenèse, où la subduction de la plaque de Nazca sous la plaque sud-américaine provoque à la fois une activité volcanique importante, une déformation crustale et la construction progressive d'une vaste chaîne montagneuse.

Lorsque la convergence concerne deux plaques qui portent des domaines continentaux, la situation devient différente. La croûte continentale possède une densité relativement faible et une épaisseur importante; elle résiste donc davantage à la subduction complète que la lithosphère océanique. Lorsqu'un bassin océanique situé entre deux continents se ferme progressivement par subduction, les deux masses continentales finissent par entrer en collision. Cette collision constitue l'un des mécanismes fondamentaux de l'orogenèse continentale. La fermeture de l'océan est généralement précédée par la subduction de sa lithosphère, puis par l'accrétion éventuelle de fragments continentaux, d'arcs volcaniques, de plateaux océaniques et de prismes sédimentaires. Lorsque les continents se rencontrent, la convergence ne peut plus être accommodée principalement par l'enfoncement d'une plaque océanique dense : la déformation se concentre alors dans la croûte continentale.

La collision continentale entraîne un raccourcissement horizontal considérable de la lithosphère. Ce raccourcissement est accommodé par plusieurs mécanismes complémentaires : plissement des couches sédimentaires, développement de failles inverses, chevauchements, empilement de nappes tectoniques, épaississement crustal et extrusion latérale de certains domaines. Les roches peuvent être déplacées sur plusieurs dizaines, voire plusieurs centaines de kilomètres par rapport à leur position initiale. Dans les chaînes complexes, la structure géologique résulte donc souvent d'un empilement de grandes unités tectoniques ayant des histoires différentes. Les Alpes et l'Himalaya présentent de nombreux exemples de nappes et de chevauchements issus de cette dynamique.

Le plissement constitue l'une des manifestations les plus visibles du raccourcissement tectonique. Lorsque des couches géologiques sont soumises à des contraintes compressives, elles peuvent se déformer de manière ductile et former des anticlinaux et des synclinaux. La déformation dépend toutefois de nombreux facteurs, notamment de la température, de la pression, de la vitesse de déformation, de la présence de fluides et de la nature des roches. À faible profondeur et dans des conditions relativement froides, les roches peuvent principalement se fracturer et produire des failles. À plus grande profondeur, l'augmentation de la température et de la pression favorise une déformation ductile caractérisée par le plissement, la recristallisation et le développement de structures tectoniques complexes.

Les chevauchements jouent un rôle fondamental dans l'architecture des chaînes de collision. Une faille inverse se caractérise par le déplacement du compartiment supérieur vers le haut relativement au compartiment inférieur sous l'effet de la compression. Lorsque le déplacement atteint plusieurs kilomètres et que des unités géologiques sont transportées sur de longues distances, on parle de chevauchement. Plusieurs chevauchements successifs peuvent conduire à l'empilement de grandes nappes tectoniques. Cet empilement provoque un raccourcissement horizontal et un épaississement vertical de la croûte. Les chaînes de montagnes sont donc en grande partie des structures d'épaississement crustal.

L'épaississement de la croûte constitue un mécanisme essentiel de formation des reliefs. Une croûte continentale normalement épaisse d'environ 30 à 40 km peut atteindre 60 à 70 km, voire davantage, dans les régions orogéniques majeures. La chaîne de l'Himalaya et le plateau tibétain constituent un exemple spectaculaire de cet épaississement. L'empilement tectonique et la déformation de la croûte provoquent une augmentation de son épaisseur, tandis que la convergence continue maintient et amplifie cette structure. La racine crustale ainsi formée s'enfonce dans le manteau conformément au principe d'isostasie. La montagne visible en surface possède donc un prolongement profond comparable, par certains aspects, à la partie immergée d'un iceberg.

L'isostasie joue un rôle déterminant dans l'évolution des reliefs orogéniques. La lithosphère continentale flotte approximativement en équilibre gravitationnel sur l'asthénosphère. Lorsqu'une chaîne de montagnes est fortement épaissie, sa racine crustale augmente et une partie de la masse est compensée par cet enfoncement. Lorsque l'érosion enlève progressivement les matériaux situés à la surface, la croûte tend à remonter afin de retrouver un nouvel équilibre isostatique. Ce mécanisme explique pourquoi une chaîne peut continuer à présenter des reliefs importants alors même que l'érosion enlève continuellement de la matière. L'altitude d'une chaîne ne dépend donc pas uniquement de la vitesse de soulèvement tectonique, mais du bilan entre tectonique, érosion, pesanteur et isostasie.

L'érosion intervient dès les premiers stades de la construction d'une chaîne. L'élévation des reliefs augmente l'énergie potentielle du système et favorise l'action des processus gravitaires, fluviaux, glaciaires, périglaciaires et, selon le climat, karstiques. Les cours d'eau incisent profondément les montagnes et transportent les produits de l'érosion vers les bassins périphériques. Les glaciers peuvent également retirer d'importantes quantités de matériaux dans les régions suffisamment froides. Les sédiments produits par l'érosion sont accumulés dans des bassins d'avant-pays, des bassins intramontagneux, des plaines alluviales et, finalement, dans les domaines marins adjacents.

Il existe ainsi un couplage permanent entre orogenèse et sédimentation. La surrection d'une chaîne fournit des matériaux détritiques aux bassins situés à proximité. Ceux-ci peuvent enregistrer l'histoire de la croissance montagneuse sous la forme de séries sédimentaires épaisses. Les bassins d'avant-pays se développent généralement sous l'effet de la flexure de la lithosphère sous le poids de la chaîne et des matériaux accumulés. Ils constituent de véritables archives géologiques permettant de reconstituer l'évolution tectonique d'une région. La nature, la granulométrie, la composition et l'âge des sédiments peuvent renseigner sur la distance aux reliefs, l'intensité de l'érosion et les variations de la tectonique.

La flexure lithosphérique constitue précisément un autre mécanisme important. Une chaîne de montagnes exerce une charge importante sur la lithosphère. Celle-ci se courbe sous l'effet de cette charge, produisant une dépression périphérique pouvant accueillir une importante accumulation sédimentaire. À mesure que la chaîne s'élève et que les sédiments s'accumulent, la flexure peut évoluer. Ce système forme un ensemble tectono-sédimentaire dans lequel la croissance du relief, la subsidence du bassin et l'érosion sont étroitement couplées.

L'orogenèse implique également d'importants processus métamorphiques. Les roches enfouies par les chevauchements et l'épaississement crustal sont soumises à des pressions et températures croissantes. Leur minéralogie et leur texture évoluent sans fusion complète de la roche. Des roches sédimentaires peuvent ainsi être transformées en schistes, micaschistes ou gneiss, tandis que des roches magmatiques ou préexistantes peuvent subir différentes transformations métamorphiques. Les associations minérales observées permettent d'estimer les conditions de pression et de température atteintes au cours de l'enfouissement.

Dans certaines régions orogéniques, l'enfouissement devient suffisamment important pour conduire à un métamorphisme de haute pression. Des roches de la croûte océanique, notamment des basaltes et des gabbros, peuvent être transformées en schistes bleus ou en éclogites lorsqu'elles sont entraînées à grande profondeur dans une zone de subduction. Leur présence dans une chaîne continentale constitue souvent un indice majeur de l'existence passée d'une subduction. Ces roches peuvent ensuite être exhumées par des processus tectoniques complexes, permettant à des matériaux ayant atteint plusieurs dizaines de kilomètres de profondeur de réapparaître en surface.

L'exhumation constitue donc le processus inverse de l'enfouissement tectonique. Elle peut résulter de plusieurs mécanismes : érosion rapide de la couverture, remontée isostatique, extension de la croûte épaissie, extrusion tectonique et mouvements le long de grandes zones de cisaillement. Dans certaines chaînes, des roches métamorphiques ayant atteint des conditions de très haute pression sont ramenées vers la surface en quelques millions d'années. L'étude de leurs assemblages minéralogiques permet de reconstruire des trajectoires pression-température-temps, appelées trajectoires P-T-t, qui constituent un outil majeur de la tectonique et de la pétrologie métamorphique.

L'orogenèse est également associée à une importante activité magmatique. La subduction favorise la production de magmas hydratés dans le manteau, tandis que l'épaississement crustal peut entraîner la fusion partielle de la croûte continentale. Les magmas peuvent se différencier, se mélanger et assimiler des matériaux crustaux. Leur cristallisation en profondeur donne naissance à des plutons et à des batholites. L'érosion ultérieure de la chaîne peut progressivement mettre ces roches plutoniques à l'affleurement. Les grandes chaînes orogéniques peuvent donc exposer en surface des roches qui se sont initialement cristallisées à plusieurs kilomètres, voire plusieurs dizaines de kilomètres de profondeur.

Dans les chaînes de collision, l'épaississement crustal peut provoquer une élévation de température suffisamment importante pour entraîner la fusion partielle de la croûte. Les magmas felsiques ainsi produits peuvent donner naissance à des granites. Cette fusion crustale est particulièrement importante dans les zones où la croûte est fortement épaissie et où l'apport thermique mantellique contribue à augmenter la température. Le magmatisme et le métamorphisme ne constituent donc pas des phénomènes indépendants : ils représentent deux réponses thermodynamiques différentes à l'enfouissement, à l'épaississement et au transfert de chaleur dans la lithosphère.

La dynamique des chaînes orogéniques ne se limite cependant pas à la compression. Une fois la croûte fortement épaissie, des forces gravitaires importantes apparaissent. La chaîne tend à s'étaler latéralement sous son propre poids. Des régimes extensifs peuvent alors se développer dans les parties internes de l'édifice tandis que la convergence se poursuit sur les marges. Ce phénomène est particulièrement bien illustré par le plateau tibétain, où la compression, l'extension et les déplacements latéraux peuvent coexister à différentes échelles. La tectonique d'une chaîne mature est donc souvent beaucoup plus complexe qu'un simple raccourcissement horizontal.

Les grands décrochements jouent également un rôle important dans certaines orogenèses. Lorsque deux blocs lithosphériques se déplacent principalement horizontalement l'un par rapport à l'autre, les failles décrochantes peuvent accommoder une partie importante de la convergence oblique. Elles peuvent fragmenter les chaînes en compartiments et favoriser le déplacement latéral de terranes ou de blocs crustaux. Dans les systèmes de convergence oblique, compression, cisaillement et extension peuvent donc se combiner. L'architecture finale de la chaîne dépend de la direction de convergence, de la géométrie des plaques, de la résistance des roches et de la présence de structures préexistantes.

La notion de terrane est particulièrement importante pour comprendre les chaînes complexes. Un terrane correspond à un fragment de lithosphère qui présente une histoire géologique distincte de celle des régions voisines et qui a été accolé à une plaque par des processus tectoniques. Les orogènes peuvent ainsi être constitués de fragments continentaux, d'arcs volcaniques, de plateaux océaniques et de morceaux de croûte océanique successivement incorporés à une marge. Cette accrétion tectonique constitue un mécanisme majeur de croissance continentale. Une partie importante de la croûte continentale actuelle s'est probablement construite progressivement par addition de fragments crustaux au cours de multiples épisodes orogéniques.

L'histoire d'un orogène peut donc être extrêmement longue et polyphasée. Une chaîne actuelle peut enregistrer plusieurs générations de déformations correspondant à différents cycles de convergence et de collision. Les structures les plus récentes peuvent recouper, déformer ou réactiver des structures plus anciennes. Les géologues utilisent pour reconstituer cette histoire la cartographie structurale, la stratigraphie, la pétrologie métamorphique, la géochronologie, la géochimie isotopique, la géophysique et l'analyse des bassins sédimentaires. Les méthodes radiométriques permettent notamment de dater les cristallisations magmatiques, les épisodes métamorphiques ou certains événements d'exhumation.

À l'échelle des temps géologiques, l'orogenèse s'intègre dans ce que l'on appelle parfois le cycle orogénique ou cycle de Wilson. Celui-ci décrit de manière générale l'ouverture puis la fermeture d'un domaine océanique, suivies éventuellement d'une collision continentale. Un continent peut d'abord se fragmenter sous l'effet d'une extension lithosphérique. Une dorsale océanique se met en place et produit une nouvelle lithosphère océanique. L'océan s'élargit progressivement, puis une ou plusieurs zones de subduction apparaissent. La lithosphère océanique est consommée, l'océan se referme et les continents finissent par entrer en collision. Une chaîne de montagnes se développe alors. Après son démantèlement par l'érosion, la région peut être intégrée à un nouveau cycle tectonique.

Le cycle de Wilson ne doit toutefois pas être considéré comme une succession parfaitement régulière d'étapes. Les systèmes tectoniques réels sont beaucoup plus complexes. Une subduction peut s'arrêter ou changer de polarité; un continent peut se fragmenter avant la collision; plusieurs microcontinents peuvent être accrétionnés successivement; des arcs volcaniques peuvent être incorporés à une marge; une zone de collision peut évoluer vers un régime de décrochement ou d'extension. L'orogenèse constitue donc un processus dynamique, discontinu et multiscalaire plutôt qu'un mécanisme unique.

Les chaînes de montagnes peuvent être classées selon leur contexte tectonique. Les chaînes de subduction, comme les Andes, associent généralement une marge active, une fosse océanique, un prisme d'accrétion variable, un arc volcanique et une déformation crustale importante. Les chaînes de collision continentale, comme l'Himalaya, résultent de la fermeture d'un domaine océanique suivie de l'affrontement de deux masses continentales. D'autres chaînes résultent de l'accrétion de fragments crustaux ou de phénomènes de convergence oblique. Il existe également des chaînes anciennes dont les reliefs actuels ne correspondent plus directement à l'intensité tectonique qui les a produites : leurs structures sont les vestiges profondément érodés d'orogenèses anciennes.

L'étude des chaînes anciennes montre d'ailleurs que l'orogenèse est indissociable de la notion de cycle géologique. Les montagnes ne sont pas des structures permanentes. Elles se construisent, se déforment, s'élèvent, s'érodent puis peuvent être presque totalement arasées. Les racines crustales peuvent être amincies ou rééquilibrées, tandis que les roches autrefois profondément enfouies sont progressivement exposées. Les matériaux issus de leur érosion peuvent être incorporés à de nouvelles séries sédimentaires, puis éventuellement enfouis et métamorphisés au cours d'un nouvel épisode tectonique.

Les Alpes constituent un exemple particulièrement instructif d'orogenèse complexe. Leur formation est liée à la convergence entre les domaines africain et européen après la fermeture progressive de l'océan Téthys alpin. La subduction de la lithosphère océanique a précédé la collision entre domaines continentaux. Les unités géologiques alpines témoignent de l'existence ancienne d'une lithosphère océanique, de son métamorphisme à haute pression, de son enfouissement puis de son exhumation. La chaîne actuelle résulte donc d'une histoire polyphasée comprenant ouverture océanique, subduction, collision, chevauchements, soulèvement et érosion.

L'Himalaya constitue un autre exemple emblématique. La collision entre la plaque indienne et la plaque eurasiatique entraîne encore aujourd'hui un raccourcissement de la croûte, particulièrement concentré dans plusieurs grands systèmes de chevauchements. Le résultat est un épaississement crustal considérable, associé au développement du plateau tibétain. L'érosion très intense des reliefs himalayens alimente de grands systèmes fluviaux et contribue au transfert massif de sédiments vers les bassins de l'Indus, du Gange et du Brahmapoutre. La chaîne représente ainsi un système dans lequel tectonique, climat, érosion, hydrologie et sédimentation interagissent continuellement.

Cette interaction entre tectonique et climat constitue un domaine majeur de la recherche géoscientifique contemporaine. Une surrection tectonique augmente les reliefs et peut modifier la circulation atmosphérique, les précipitations et les régimes glaciaires. En retour, l'augmentation des précipitations et l'intensification de l'érosion peuvent accélérer l'évacuation des matériaux et influencer le comportement isostatique de la chaîne. L'érosion des silicates contribue en outre au cycle géochimique du carbone à long terme, notamment par la consommation de dioxyde de carbone atmosphérique lors de l'altération chimique. L'orogenèse participe donc indirectement à la régulation du climat terrestre sur des échelles de temps géologiques.

Les chaînes orogéniques constituent également des réservoirs importants de ressources minérales. Les processus magmatiques, hydrothermaux, métamorphiques et tectoniques peuvent concentrer certains éléments chimiques et favoriser la formation de gisements métallifères. Les arcs de subduction sont notamment associés à de nombreux gisements de cuivre, d'or et de molybdène. Les systèmes hydrothermaux peuvent remobiliser et concentrer les métaux, tandis que les déformations tectoniques créent des fractures servant de voies de circulation aux fluides. Les chaînes anciennes peuvent ainsi présenter une grande diversité de ressources minérales, aujourd'hui exploitées ou étudiées comme archives de leur évolution tectonique.

À l'échelle de la lithosphère, l'orogenèse représente finalement un mécanisme fondamental de différenciation et de renouvellement de la croûte continentale. Elle provoque simultanément raccourcissement, épaississement, métamorphisme, fusion partielle, magmatisme, exhumation et érosion. Elle redistribue les éléments chimiques entre le manteau, la croûte et la surface et modifie profondément la topographie terrestre. Les chaînes de montagnes ne sont donc pas uniquement des formes du relief : elles constituent des systèmes géologiques complets, dont les structures superficielles sont directement reliées aux processus qui affectent la lithosphère jusqu'à plusieurs dizaines de kilomètres de profondeur.

Ainsi comprise, l'orogenèse est un processus fondamental de la dynamique terrestre. Elle résulte principalement des interactions entre plaques lithosphériques convergentes, mais elle mobilise simultanément des mécanismes tectoniques, thermiques, magmatiques, métamorphiques, sédimentaires et géomorphologiques. La formation d'une chaîne commence souvent par la convergence et la subduction, se poursuit éventuellement par la fermeture d'un océan et la collision continentale, puis évolue vers un système complexe d'épaississement, de surrection, d'érosion et d'exhumation. La montagne observable en surface représente donc l'expression temporaire d'un équilibre dynamique entre les forces tectoniques qui construisent l'édifice et les processus de surface qui tendent à le démanteler. À très long terme, les matériaux de la chaîne sont recyclés dans les bassins sédimentaires, la croûte profonde ou le manteau, permettant à la matière lithosphérique de participer à de nouveaux cycles tectoniques et géochimiques.