Le XVI^e siècle est marqué par la consolidation du pouvoir et de l'influence de Brunei. La capitale, Kota Batu, devient un centre commercial et culturel important. Brunei se dote d'une administration plus sophistiquée et d'une culture florissante. Le sultanat se signale par ses arts, ses traditions et son architecture, avec des mosquées et des palais somptueux. Les premiers contacts avec les Européens commencent aussi à cette époque, notamment avec les Espagnols et les Portugais. En 1578, une expédition espagnole menée par Francisco de Sande attaque Brunei, mais les Espagnols sont finalement repoussés. 

Le début d'un déclin progressif pour Brunei, au XVII^e siècle, se manifeste par des conflits internes, des révoltes locales et par la pression des puissances européennes. La perte de territoires et de vassaux affaiblit également l'autorité centrale. L'arrivée des Néerlandais et des Anglais en Asie du Sud-Est, qui établissent des colonies et des comptoirs commerciaux dans la région modifie les dynamiques commerciales. La montée en puissance de ces nouvelles puissances coloniales réduit l'influence de Brunei sur les routes commerciales régionales. Brunei subit en particulier une pression accrue de la part des Britanniques. En 1846, le sultanat cède l'île de Labuan au Royaume-Uni et, en 1888, devient un protectorat britannique, perdant de facto sa souveraineté, bien que le Sultan conserve une certaine autorité sur les affaires internes.

Avant d'être soumise directement à la Couronne, Brunei a été la propriété d'une compagnie anglaise. L'idée première de la fondation de cette colonie est due à un Autrichien, le baron Overbeck, consul général d'Autriche-Hongrie à Hong-Kong. Overbeck ne trouva pas auprès de ses compatriotes l'appui nécessaire et son gouvernement ne sut pas apprécier l'importance du projet qui lui était soumis. Le baron Overbeck ne pouvait ou ne voulait pas attendre, car il craignait de compromettre ainsi l'entreprise elle-même; les pourparlers avec les sultans locaux étaient fort avancés, un retard pouvait faire rompre toutes les négociations. C'est alors que le baron se décida à partir pour Londres et autant il avait rencontré d'indifférence à Vienne, autant il réussit promptement en Angleterre à trouver les fonds nécessaires. Une compagnie anglaise fut bientôt constituée.

Le sultan de Brunéi céda toute la partie septentrionale de Bornéo, jusqu'au fleuve Kimani, avec les magnifiques ports de Gaya, Ambong et Maloudon; le sultan de Soulou fit abandon de tous ses droits sur la côte orientale de Bornéo. L'instrument de ces cessions fut signé en présence du gouverneur anglais de Labouan et du consul général britannique de Bornéo. La compagnie était dorénavant propriétaire non seulement de Brunéi, mais de toute la partie septentrionale de Bornéo, du Kimani, sur la côte Nord-Ouest au fleuve Sibouco, sur la côte orientale.

Le sultan de Brunéi donna au baron Overbeck le titre de Maharadjah de Sabah (Sabah est le nom malais du Nord de Bornéo), et celui de Soulou, le créa radjah de Soendakan. Le gouvernement anglais désigna un vice-consul qui résida sur le territoire. La Compagnie finit ensuite par s'effacer au profit de la Couronne britannique, qui intégra le territoire à sa colonie de Malaisie.

Un accord est signé entre Brunei et le Royaume-Un en 1906. Il stipule que Brunei serait administré sous la supervision d'un résident britannique. La découverte de pétrole en 1929 à Seria transforme l'économie de Brunei, qui attire davantage l'attention des Britanniques sur cette région stratégiquement importante. Dans les années 1950 et 1960, Brunei connaît des réformes économiques et sociales importantes, financées par les revenus pétroliers. Cependant, les mouvements nationalistes et anti-coloniaux commencent à émerger. Une révolte contre la domination britannique, connue sous le nom de révolte de Brunei, est menée en 1962 par le Parti populaire de Brunei (PRB) mais est rapidement réprimée avec l'aide britannique. Cela mène à l'imposition de l'état d'urgence, qui restera en vigueur jusqu'à l'indépendance.

 En 1963, Brunei refuse de rejoindre la Fédération de Malaisie en raison de désaccords politiques et économiques. Un nouvel accord est signé avec le Royaume-Uni en 1971. Il accorde à Brunei une autonomie interne accrue tout en laissant la défense et les affaires étrangères sous contrôle britannique. En 1979, un traité est signé avec le Royaume-Uni, qui prévoie l'indépendance complète de Brunei dans cinq ans. Le 1^er janvier 1984, le sultanat devient officiellement indépendant. Le sultan Hassan al Bolkiah, qui avait accédé au trône en 1967, devient le premier souverain du Brunei indépendant. C'est la même même famille qui règne sur le pays depuis plus de six siècles.

Dans les années 1980 et 1990, Brunei connaît une croissance économique rapide grâce à ses vastes réserves de pétrole et de gaz naturel. Des investissements importants sont réalisés dans les infrastructures, l'éducation et la santé. Le pays maintient une politique d'isolement relatif, avec peu d'engagement dans les affaires internationales, mais il a rejoint l'ASEAN dès 1984. En 2004, une constitution révisée est introduite, rétablissant le Conseil législatif de Brunei, bien que le pouvoir reste largement concentré entre les mains du Sultan. En 2013, Brunei adopte un nouveau Code pénal basé sur la charia, suscitant des critiques internationales, notamment concernant les droits humains. En 2014, la première phase de la mise en oeuvre de la charia commence, avec des lois sur des questions comme l'indécence publique et la consommation d'alcool. En 2019, la phase finale de la mise en oeuvre de ce Code pénal. Elle inclue des peines sévères comme la lapidation pour l'adultère et l'homosexualité. Suite à une condamnation internationale, le Sultan déclare un moratoire sur l'application de la peine de mort dans ce contexte.