La genèse de la phyllite s'inscrit dans le gradient classique du métamorphisme prograde des séries pélitiques, c'est-à-dire issues de l'ancienne accumulation de sédiments argileux. Une argile ou une marne, enfouie puis soumise à des forces tectoniques compressives et à une élévation de température, voit ses minéraux argileux primaires, instables, se réorganiser. Au premier stade, avec une pression orientée et des températures autour de 200 à 300°C, se forme l'ardoise, où les minéraux argileux se réorientent mais sans recristallisation notable. En franchissant un seuil thermique approximativement compris entre 300 et 450°C, on entre dans le faciès des schistes verts, et la roche devient une phyllite. À ces conditions, des minéraux argileux comme l'illite ou la smectite se transforment et de nouveaux silicates lamellaires se mettent à croître abondamment, principalement la muscovite (le mica blanc) en très fines paillettes, et la chlorite, de couleur verte. C'est l'entrelacement de ces deux phases minérales en feuillets parallèles et continus qui donne à la phyllite son lustre soyeux si particulier et son clivage ardoisier ondulé. La poursuite du métamorphisme, au-dessus de 450 à 500°C, verra ces micas grandir jusqu'à devenir visibles à l'œil nu, et l'apparition de la biotite (mica noir) et parfois de grenats marquera le passage au micaschiste.

Minéralogiquement, la phyllite est donc constituée d'un assemblage typique du faciès schistes verts. La muscovite et la chlorite y sont les minéraux index dominants. Le quartz est presque toujours présent en abondance sous forme de micro-grains allongés, pris dans la foliation. Selon la composition chimique de la roche mère, d'autres phases peuvent apparaître : l'albite (un plagioclase sodique), l'épidote, des minéraux opaques comme la magnétite ou le graphite si le sédiment originel était riche en matière organique, donnant alors à la roche une couleur gris-noir intense. Les minéraux accessoires comme la tourmaline ou le sphène peuvent aussi être présents. La texture est lépidoblastique, c'est-à-dire définie par l'enchevêtrement orienté de minéraux en feuillets. Cette fabrique planaire extrêmement développée est à la fois un plan de faiblesse mécanique majeur et le témoin direct de la direction de la contrainte principale lors de la déformation.

Visuellement, la phyllite se décline dans une palette de gris argentés, de verts bleutés, de teintes brun-rouille par altération, jusqu'à des noirs graphitiques. Elle se distingue d'une ardoise au toucher et à l'examen : au lieu d'une cassure franche et mate, la phyllite offre une surface de fracture soyeuse, chatoyante, où la lumière semble glisser sur un nombre infini de minuscules facettes. Cette propriété dite de réflectance orientée est un critère de terrain diagnostique. Contrairement à un micaschiste, on ne peut pas y détacher à la main de paillettes flexibles et élastiques, car les grains sont trop petits.

La roche se débite typiquement en dalles minces et en plaquettes, mais ces feuillets, contrairement à l'ardoise parfaite, sont souvent microplissés, crénulés. Ces microplis, nommés crénulations, témoignent de phases de déformation superposées. Une première schistosité a pu être plissée par une contrainte ultérieure, créant ces ondulations sur le plan de foliation. Cette structure rend la phyllite moins apte à la production de feuilles de couverture parfaitement planes que l'ardoise, car elle a tendance à se fendre selon des surfaces gauchies. Cependant, cette même texture en feuillets lustrés en fait une roche ornementale appréciée, utilisée comme pierre de parement, en dallage ou pour la décoration intérieure, sous des noms commerciaux qui peuvent être trompeurs comme ardoise argentée ou pierre du pays.

Dans le paysage, les affleurements de phyllites trahissent une ancienne racine de chaîne de montagnes. On les rencontre typiquement dans les zones externes des ceintures orogéniques, là où le métamorphisme n'a pas atteint les hautes températures nécessaires à la fusion. Les reliefs constitués de phyllites sont souvent doux, moutonnés, car la roche, feuilletée et altérable, se désagrège facilement en plaquettes sous l'effet du gel et de la pénétration des racines. Les sols qui en dérivent sont argileux, souvent gorgés d'eau en raison de l'imperméabilité liée à l'orientation horizontale des feuillets en profondeur, ce qui favorise les zones humides et les glissements de terrain superficiels.