Il est question à Genève, dès les années 1870, de créer un nouveau musée qui abriterait les collections archéologiques, les peintures et sculptures du Musée Rath. En 1897 est créée la Société auxiliaire du Musée de Genève; celle-ci intervient énergiquement en faveur d'un nouveau musée. Un concours d'architecture en vue de la construction d'un tel bâtiment sur l'emplacement des Casemates est ouvert en 1900 par le Conseil municipal. Il était alors prévu d'y loger la peinture, la sculpture et l'archéologie, les collections du Musée Fol et du Musée des Arts décoratifs (laquelle devient la section des arts appliqués), la Salle des Armures, le cabinet de numismatique et la collection d'ethnographie.
Charles Galland fait don à la Ville de Genève de la somme nécessaire à l'entreprise dirigée par l'architecte Marc Camoletti. Les travaux commencent en 1903 et le Musée est inauguré le 15 octobre 1910. Le bâtiment, tel qu'il se présente encore aujourd'hui, s'étend sur une parcelle carrée de soixante mètres de côté et comprend quatre étages. Lors de la première année d'exploitation, le musée enregistre 70'000 visiteurs.
Dès 1936, une extension est projetée suite au manque de place constaté par les différents conservateurs. Pour résoudre ce problème, le Musée crée, dès les années trente, des filiales spécialisées localisées dans différents bâtiments mis à disposition par la Ville de Genève. On peut citer par exemple le Cabinet des Estampes, le Musée d'histoire des Sciences et le Musée de l'horlogerie. Dès 1974, les services techniques et administratifs du Musée déménagent à leur tour dans d'autres locaux.
