Pendant ces années, elle perfectionna ses compétences en photographie, un art alors nouveau. En 1892, elle voyagea à travers l'Europe avec un appareil photo Blair et, à son retour, ses récits et photographies de l'Espagne furent publiés dans une brochure intitulée In the Footsteps of Columbus, qui fut distribuée comme souvenir à l'Exposition universelle de Chicago en 1893. Peu de temps après, elle contracta la scarlatine, une maladie qui la rendit presque complètement sourde, une affection qui marqua le reste de sa vie et qui, en raison des difficultés de socialisation qu'elle entraîna, la conduisit à s'immerger totalement dans son travail.

En 1894, après le décès de sa mère, elle écrivit à son ancienne professeure Sarah Frances Whiting, qui l'engagea comme professeure junior de physique au Wellesley College, ce qui lui permit également de suivre des cours de troisième cycle en physique et en astronomie. Inspirée par Whiting à se lancer dans la spectroscopie, Cannon s'inscrivit au Radcliffe College en 1894 en tant qu'"étudiante spéciale" pour avoir accès à de meilleurs télescopes, ce qui lui ouvrit les portes de l'observatoire du Harvard College, dirigé par Edward C. Pickering. 

En 1896, Pickering l'engagea comme assistante à l'observatoire, intégrant ainsi le groupe des "Harvard Computers" (Calculatrices de Harvard), une équipe de femmes recrutées pour réaliser le Henry Draper Catalogue, un projet ambitieux visant à cartographier et classifier les étoiles jusqu'à la neuvième magnitude. Les femmes de l'observatoire, dont Cannon faisait partie avec Henrietta Swan Leavitt, Antonia Maury et Williamina Fleming, étaient souvent critiquées pour être "hors de leur place" et étaient faiblement rémunérées, à raison d'environ 25 cents de l'heure.

Très vite, un désaccord émergea sur la méthode de classification des étoiles : Fleming préconisait une approche simple tandis que Maury insistait sur un système complexe. Cannon proposa alors un système tiers, divisant les étoiles en classes spectrales O, B, A, F, G, K, M, basé sur la force des raies d'absorption de l'hydrogène, ce qui correspondait en réalité à une classification par température décroissante. Ce système, qu'elle popularisa avec le moyen mnémotechnique "Oh Be A Fine Girl, Kiss Me", fut officiellement adopté par l'Union astronomique internationale le 9 mai 1922 et, avec des modifications mineures, est encore la norme universelle aujourd'hui. Annie Cannon publia son premier catalogue de spectres stellaires en 1901.

Reconnue pour sa rapidité et sa précision exceptionnelles, elle pouvait classifier jusqu'à trois étoiles par minute et, à l'aide d'une loupe, des étoiles 16 fois plus faibles que ce que l'oeil humain peut percevoir. Au cours de sa carrière, elle classa manuellement environ 350 000 à 400 000 étoiles, un nombre jamais égalé. Elle découvrit également 300 étoiles variables, cinq novae et une étoile binaire spectroscopique. 

En 1911, elle succéda à Williamina Fleming comme conservatrice des photographies astronomiques à l'observatoire de Harvard. Elle fut nommée astronome William C. Bond à Harvard en 1938. L'astronome Cecilia Payne, qui collabora avec Cannon, utilisa ses données pour démontrer que les étoiles sont principalement composées d'hydrogène et d'hélium. Surnommée le "recenseur du ciel", Annie Jump Cannon prit sa retraite en 1940 après plus de 40 ans de carrière, mais continua à travailler activement à l'observatoire jusqu'à quelques semaines avant sa mort. Elle s'éteignit le 13 avril 1941 à Cambridge, dans le Massachusetts, à l'âge de 77 ans. 

Au cours de sa vie, Cannon avait reçu de nombreuses distinctions, notamment un doctorat honorifique de l'Université de Groningue aux Pays-Bas en 1921, devenant l'une des premières femmes à recevoir un tel honneur d'une université européenne. En 1925, elle devint la première femme à recevoir un doctorat honorifique en sciences de l'Université d'Oxford. Elle fut également la première femme à recevoir la médaille Henry Draper de l'Académie nationale des sciences en 1931 et la première femme élue officier de l'American Astronomical Society. En 1933, elle représenta les femmes professionnelles à l'Exposition universelle de Chicago (Century of Progress). En 1935, elle créa l'Annie J. Cannon Prize (aujourd'hui Annie Jump Cannon Award in Astronomy), décerné chaque année par l'American Astronomical Society à une femme astronome pour ses travaux distingués.