Carte de l'île Baker. Source : The World Factbook.

C'est une île extrêmement plate. Son point culminant ne dépasse pas quelques mètres au-dessus du niveau de la mer, typiquement environ 8 mètres, ce qui la rend très vulnérable à l'élévation du niveau de la mer et aux ondes de tempête. Le terrain est principalement formé par l'accumulation de corail et de sable sur un ancien volcan sous-marin. Une dépression centrale, qui pourrait être les vestiges d'un lagon asséché ou d'une ancienne mine de guano, marque le centre de l'île, mais elle ne contient pas d'eau douce permanente. 

L'île est dépourvue de sources d'eau douce naturelles, ce qui est un facteur limitant majeur pour la vie végétale et animale. Elle est entourée d'un récif corallien frangeant qui s'étend sur une certaine distance autour de l'île, particulièrement du côté ouest et sud, et qui peut être dangereux pour la navigation. La présence de ce récif influence la géomorphologie côtière et les conditions marines immédiates.

Le climat de l'île Baker est équatorial. Cependant, il est étonnamment aride pour sa position équatoriale, recevant des précipitations annuelles relativement faibles et surtout irrégulières. Les températures sont élevées tout au long de l'année avec très peu de variations saisonnières. L'île est fréquemment balayée par les vents. Bien que située sous le potentiel maximum d'activité cyclonique, elle reste exposée aux tempêtes tropicales et aux ondes de tempête qui peuvent impacter significativement son paysage.

L'aridité relative de l'île Baker explique la végétation rare et basse, composée principalement d'herbes résistantes au sel, d'arbustes rabougris (comme le Tournefortia argentea) et de quelques plantes couvre-sol.

 Les États-Unis ont pris possession de cette île en 1857, et ses gisements de guano ont été extraits par les les compagnies américaines et britanniques pendant la seconde moitié du XIX^e siècle. En 1935, une tentative de courte durée de colonisation a commencé sur cette île mais a été perturbée par la Seconde Guerre mondiale et ensuite abandonnée. Des vestiges d'activités humaines passées subsistent, notamment les restes d'une piste d'atterrissage qui traverse une partie de l'île et qui date de cette guerre. Cette piste est maintenant envahie par la végétation et le sable, mais elle modifie toujours la surface plane de l'île. Des structures délabrées et des débris liés aux tentatives de colonisation ou à l'exploitation du guano sont également présents par endroits.

L'île a été érigée en refuge national de la faune en 1974, sa géographie simple, plate et aride, mais entourée d'un récif riche, offrae un habitat vital et isolé pour de vastes colonies d'oiseaux marins. Sa géographie la rend difficile d'accès, dépourvue de port ou d'ancrage sûr en raison du récif affleurant.