Le relief est dominé par la cordillère arctique, avec les montagnes Grant Land au nord, une chaîne irrégulière de roches sédimentaires recouverte d'une couche de glace atteignant près de 2000 mètres d'épaisseur, vestige de la dernière glaciation. Le pic Barbeau, dans la chaîne British Empire, culmine à 2 616 mètres et constitue le point le plus élevé de l'est de l'Amérique du Nord. Les monts Challenger, la chaîne de montagnes la plus septentrionale du monde, se trouvent au nord-est de l'île. Vers le sud, le relief s'abaisse jusqu'au plateau de Hazen, presque entièrement recouvert par le lac Hazen, le plus grand lac de la région polaire. Une grande partie de l'île est englacée, notamment le champ de glace de Manson et Sydkap dans le sud, le champ de glace Prince of Wales et la calotte glaciaire d'Agassiz le long du côté centre-est, ainsi que l'importante couverture glaciaire du nord. La côte nord-ouest était autrefois bordée par une plateforme de glace massive longue de 500 km, qui s'est réduite de 90 % au cours du XX^e siècle sous l'effet du réchauffement climatique, laissant des plateformes distinctes telles que celles d'Alfred Ernest, d'Ayles, de Milne, de Ward Hunt et de Markham. Ces plateformes continuent de se fragmenter au XXI^e siècle, avec le détachement complet de la plateforme Ayles en 2005 et de la plateforme Markham en 2008.

Le climat est celui d'un désert polaire extrême, avec des précipitations annuelles qui ne dépassent pas 70 mm en certains endroits et une température mensuelle moyenne record de -47,9 °C enregistrée à Eureka en février 1979. La biogéographie de l'île reflète ces conditions hostiles : la végétation est clairsemée et composée d'espèces adaptées au froid, notamment la saxifrage pourpre, le pavot arctique, des plantes en coussinet, des lichens, des mousses et le saule arctique, un arbuste nain prostré qui pousse au ras du sol pour résister aux vents glacials. On y a dénombré 151 espèces de mousses et 37 espèces de plantes vasculaires sur l'île Ward Hunt. La faune terrestre comprend de petits troupeaux de boeufs musqués, des caribous de Peary, des lièvres arctiques, des loups arctiques, des renards arctiques et des lemmings. Les eaux environnantes abritent des phoques, des morses, des narvals, des bélugas et des ours polaires. L'île accueille également des oiseaux nicheurs comme le harfang des neiges, le faucon gerfaut et diverses espèces de goélands et d'oies. Treize espèces d'araignées ont été recensées sur l'île.

L'occupation humaine, très limitée, remonte à environ 4000 ans avant notre ère, lorsque les peuples paléo-esquimaux, notamment la culture de l'Arctique paléoesquimau ancien (Pré-Dorset), s'y installèrent en provenance de l'Alaska en suivant la faune arctique. Ces populations furent suivies par la culture de Dorset, vers 500 avant notre ère, qui développa des techniques d'adaptation remarquables au climat extrême, vivant de la chasse au phoque, au morse et parfois au oeuf musqué. Vers l'an 1000 de notre ère, les Thuléens, ancêtres directs des Inuits actuels, arrivèrent depuis l'Alaska avec une technologie supérieure, notamment le kayak, l'umiak et le harpon à flotteur, leur permettant de chasser la baleine. Ils supplantèrent progressivement les populations dorsétiennes. Fait notable, des vestiges archéologiques norrois ont été découverts sur l'île, notamment à Skraeling Island, suggérant des contacts, directs ou indirects par le biais du commerce, entre les Thuléens et les colons vikings du Groenland aux alentours du XII^e ou XIII^e siècle.

Après cette période, l'île connut une phase de dépeuplement progressif lié au refroidissement climatique du Petit Âge glaciaire, qui rendit la région encore plus inhospitalière. Lorsque les explorateurs européens commencèrent à s'aventurer dans l'archipel arctique aux XIX^e et XX^e siècles, l'île était largement inhabitée.

La découverte européenne officielle est attribuée à l'explorateur britannique Edward Inglefield, qui aperçut et nomma l'île en 1852 en l'honneur de Francis Egerton, comte d'Ellesmere, alors président de la Royal Geographical Society. Les décennies suivantes virent une série d'expéditions polaires britanniques et américaines chercher à cartographier ses côtes et, plus tard, à atteindre le pôle Nord depuis ses rivages septentrionaux. L'expédition britannique de George Nares en 1875-1876 explora le nord de l'île, tandis que l'Américain Adolphus Greely y établit en 1881 la base Fort Conger dans le cadre de la première Année polaire internationale, une expédition qui se solda tragiquement par la mort de la majorité de ses membres, faute de ravitaillement. Plus tard, Robert Peary utilisa également Ellesmere comme point de départ pour ses tentatives, dont celle de 1909 revendiquant l'atteinte du pôle Nord, un point encore débattu par les historiens.

Sur le plan de la souveraineté, le Canada affirma progressivement son autorité sur l'île au cours du XX^e siècle, notamment face aux revendications norvégiennes liées aux expéditions d'Otto Sverdrup, qui explora et cartographia une grande partie de l'archipel entre 1898 et 1902. La Norvège renonça finalement à ses prétentions territoriales en 1930 en échange d'une compensation financière versée à Sverdrup. Pour consolider sa souveraineté, le gouvernement canadien mena dans les années 1950, en pleine guerre froide, une politique controversée de relocalisation forcée d'familles inuites depuis Inukjuak, dans le nord du Québec, vers Grise Fiord, sur la côte sud d'Ellesmere, créant ainsi la communauté la plus septentrionale du Canada. Cette relocalisation, présentée à l'époque comme volontaire, est aujourd'hui reconnue comme ayant causé de grandes souffrances aux familles concernées, qui durent s'adapter à des conditions bien plus rudes que celles promises, et le gouvernement canadien a présenté des excuses officielles en 2010 et versé 10 millions de dollars aux survivants. 

Durant la Guerre froide, l'île accueillit également des stations scientifiques et militaires stratégiques, dont la station des Forces canadiennes Alert, fondée en 1950 et située à la pointe nord de l'île : elle demeure aujourd'hui l'établissement humain permanent le plus septentrional du monde. Des stations de recherche comme celle d'Eureka, fondée en 1947 au centre de l'île et qui abrite un personnel permanent d'environ huit à dix personnes, contribuèrent à l'étude du climat, de la géologie et de la faune arctiques.

De nos jours, Ellesmere Island abrite la communauté inuite de Grise Fiord, ainsi que le parc national Quttinirpaaq, créé en 1988 pour protéger cet écosystème polaire exceptionnel, et qui comprend sept fjords, de nombreux glaciers et le lac Hazen (soit au total un cinquième de l'île). Ellesmere demeure un site privilégié pour la recherche sur le changement climatique, ses glaciers et sa calotte glaciaire faisant l'objet d'une surveillance étroite en raison de leur recul rapide, un phénomène qui a conduit à des découvertes archéologiques inédites : la fonte des glaces révéle parfois des artefacts et vestiges anciens auparavant scellés sous la glace.