En 1907, âgé de presque vingt-deux ans, il entra à l'université du Missouri avec l'intention d'étudier le journalisme. Apprenant que l'ouverture de l'école de journalisme était reportée d'un an, il consulta l'annuaire des cours et décida d'étudier la première matière qu'il trouva. Selon la légende, incapable de prononcer archéologie, il se rabattit sur la suivante : l'astronomie... Cette décision fortuite changea le cours de sa vie. À l'observatoire Laws de l'université, il devint l'assistant de Frederick H. Seares, qui l'encouragea vivement. Il obtint son diplôme avec les plus grands honneurs en mathématiques et en physique en 1910, puis une maîtrise en 1911. Grâce à une bourse, il rejoignit l'université de Princeton pour ses études supérieures, où il étudia sous la direction du célèbre astronome Henry Norris Russell. Sa thèse de doctorat portait sur les étoiles binaires à éclipses, et il soutint son doctorat en 1913. Cette même année, il épousa Martha Betz, une étudiante rencontrée à l'université du Missouri, qui devint une collaboratrice scientifique précieuse en calculant notamment les orbites d'étoiles binaires. Le couple eut cinq enfants, dont l'économiste Lloyd Shapley, lauréat du prix Nobel d'économie en 2012.

À partir de 1914, Shapley travailla à l'observatoire du Mont Wilson en Californie, où il utilisa le télescope de 1,5 mètre pour étudier les étoiles variables dans les amas globulaires. En utilisant la relation période-luminosité découverte par Henrietta Swan Leavitt, il mesura la distance des céphéides et des variables RR Lyrae, ce qui lui permit de cartographier la distribution des amas globulaires. Il fit alors une découverte majeure : la grande majorité de ces amas se trouvaient dans la constellation du Sagittaire, formant une sphère centrée non pas sur le Soleil, mais sur un point éloigné. Shapley en conclut que le centre de notre galaxie, la Voie lactée, se trouvait dans cette direction et que le Soleil était situé à quelque 50 000 années-lumière (une valeur qu'il corrigea plus tard à environ 30 000) du centre, à la périphérie du système. Cette découverte, publiée en 1918, bouleversa la conception que l'on avait de notre galaxie : la Voie lactée était bien plus vaste que ce que l'on croyait, et le Soleil n'occupait aucune position privilégiée, révolution copernicienne à l'échelle galactique.

En 1920, Shapley participa au célèbre Grand Débat avec l'astronome Heber D. Curtis devant l'Académie nationale des sciences à Washington. Le débat portait sur la nature des énbuleuses spirales et sur l'échelle de l'univers. Shapley, s'appuyant sur des mesures erronées de son collègue Adriaan van Maanen, soutenait que ces nébuleuses étaient des objets internes à notre Voie lactée, tandis que Curtis défendait l'idée qu'il s'agissait de galaxies indépendantes, des ynivers-îles. L'histoire a donné raison à Curtis, les travaux d'Edwin Hubble sur les céphéides d'Andromède le démontrant quelques années plus tard. Shapley reconnut son erreur avec grandeur d'âme, déclarant à un collègue, en recevant la preuve de Hubble : "Voici la lettre qui a détruit mon univers". Bien qu'il ait eu tort sur ce point, ses arguments sur la taille de la Voie lactée étaient justes, et le débat contribua à structurer la jeune astronomie extragalactique.

En 1921, Shapley fut nommé directeur de l'observatoire du Harvard College, succédant à Edward Charles Pickering. Il occupa ce poste jusqu'en 1952, transformant l'institution en un centre de recherche majeur. Il recruta des talents exceptionnels, dont Cecilia Payne, qui devint la première personne à obtenir un doctorat en astronomie à Harvard pour ses travaux révolutionnaires sur la composition stellaire. Il encouragea Annie Jump Cannon à achever le monumental catalogue Henry Draper de classifications spectrales. Sous sa direction, l'observatoire développa également une station en Afrique du Sud pour observer le ciel austral. Shapley continua ses recherches sur les galaxies et les amas, publiant en 1932 le catalogue Shapley-Ames qui répertoriait 1249 galaxies et révéla leur distribution irrégulière, annonçant la découverte des superamas. Il identifia plus tard le superamas de Shapley, l'une des plus grandes structures connues de l'univers. En 1953, il proposa le concept de ceinture d'eau liquide, définissant la zone autour d'une étoile où une planète pourrait avoir une température permettant l'eau liquide et donc potentiellement la vie, une idée aujourd'hui connue sous le nom de zone habitable.

Au-delà de la science, Shapley s'engagea activement dans la vie publique. Il fut un fervent défenseur de la liberté académique et s'opposa aux enquêtes de la commission des activités antiaméricaines (HUAC) dans les années 1940 et 1950. Convoqué devant la commission en 1946, il dénonça ses méthodes "gestapistes" et appela à son abolition. Il contribua à la création de la National Science Foundation et joua un rôle clé pour que la lettre « S » (pour Science) figure dans l'acronyme de l'Unesco. Il fut président de l'American Association for the Advancement of Science (AAAS) en 1947 et aida des scientifiques européens à fuir le régime nazi. Harlow Shapley s'éteignit le 20 octobre 1972 dans une maison de retraite à Boulder, dans le Colorado, à l'âge de quatre-vingt-six ans.