Sa structure cristalline est orthorhombique. Elle se présente communément sous forme de cristaux prismatiques trapus, à section presque carrée, fréquemment maclés et souvent inclus dans une matrice métamorphique. Une de ses particularités les plus frappantes et les plus recherchées par les collectionneurs est la variété nommée chiastolite. Celle-ci montre, en section transversale, une croix sombre caractéristique, parfois ornée d'une alternance de zones claires et foncées formant un motif losangique rappelant un damier. Ce dessin cruciforme, bien visible à l'oeil nu, est dû à des inclusions charbonneuses ou argileuses piégées sélectivement selon les axes cristallographiques lors de la croissance du cristal. La dureté de l'andalousite se situe entre 6,5 et 7,5 sur l'échelle de Mohs, variant sensiblement selon les directions cristallographiques, une anisotropie dure qui la rend parfois délicate à tailler. Son éclat est vitreux, sa cassure est irrégulière à subconchoïdale, et elle présente un clivage net mais moins parfait que celui du disthène.

La couleur de l'andalousite gemme a vontribué à sa renommée. Elle affiche un pléochroïsme intense et remarquable, souvent visible à l'oeil nu sur les spécimens bruts, ce qui lui vaut l'appellation populaire de "pierre d'émeraude des pauvres" ou "alexandrite du pauvre". Les couleurs observées varient du vert olive ou brun verdâtre au rouge brique profond ou brun orangé, selon la direction d'observation. Une gemme taillée présentera un mélange complexe de ces teintes sans avoir à changer de source lumineuse, contrairement à l'alexandrite véritable. Les teintes les plus prisées sont un vert intense et un rose saumoné. Les variétés limpides et bien colorées sont taillées en facettes, souvent en coussin ou en ovale, pour maximiser le jeu de couleurs, tandis que la chiastolite est presque exclusivement taillée en cabochon plat ou en fines tranches polies afin de révéler la perfection de sa croix interne.

Sur le plan géologique, l'andalousite est un minéral typique du métamorphisme de contact affectant des sédiments argileux riches en aluminium, les pélites. Elle se développe dans les cornéennes et les schistes tachetés au voisinage immédiat des masses granitiques, où le fort gradient thermique et la pression relativement faible favorisent sa cristallisation. Elle s'associe fréquemment à la cordiérite, à la biotite, au feldspath potassique et au quartz. La présence d'andalousite dans une roche métamorphique régionale indique un chemin pression-température de basse pression, souvent lié à une extension crustale ou à un magmatisme abondant en contexte d'arc ou de collision précoce. Lorsque les conditions de pression augmentent, elle est remplacée par la sillimanite, et si la pression est très élevée, c'est le disthène qui devient stable. Ce triptyque Al2SiO5 constitue un géothermobaromètre fondamental en pétrologie métamorphique.

Les gisements d'andalousite de qualité gemme sont assez répandus. Les cristaux les plus spectaculaires de chiastolite proviennent des schistes ordoviciens de la région de Saint-Jacques-de-Compostelle en Espagne, où les sections montrent une croix parfaite sur un fond noir graphiteux. Le Minas Gerais au Brésil produit des andalousites transparentes et fortement pléochroïques, de couleurs vertes à saumonées, taillées pour la joaillerie. Le Sri Lanka livre des galets roulés alluvionnaires d'excellente qualité gemme. Des gisements notables existent également en Birmanie, à Madagascar, en Australie et aux États-Unis, notamment en Californie et au Massachusetts. En France, on trouve de belles chiastolites dans les micaschistes bretons, en particulier près de Baud dans le Morbihan, ainsi que dans les Pyrénées.

L'andalousite est exploitée industriellement comme matière première réfractaire de haute qualité. Calcinée à haute température, elle se transforme en mullite (Al6Si2O13), un matériau extrêmement résistant aux chocs thermiques et à la corrosion par les scories, utilisé pour la fabrication de briques réfractaires, de creusets et de composants pour les fours industriels. Les principaux producteurs mondiaux sont l'Afrique du Sud et la France. Sa croix naturelle en a fait historiquement une amulette très prisée des pèlerins cheminant vers Saint-Jacques-de-Compostelle, où ils la ramassaient directement sur les chemins galiciens, la nommant "pierre de croix" ou "croix des pèlerins".