« Le moins qu’on puisse dire des prisons du département des Bouches-du-Rhône, c’est qu’elles ne correspondent aucunement à la conception actuelle de l’emprisonnement, ni à l’importance de la population détenue. La maison d’arrêt et de justice dite « Prison Chave », est à ce point insuffisante que la plupart des cellules logent trois détenus au lieu d’un, et la plupart de ces cellules (celles des anciens bâtiments) ne comprennent ni lavabos, ni W.C., ni chauffage. La maison de correction, ou prison Saint-Pierre, est un établissement en commun dans lequel sont subies les peines d’emprisonnement inférieures à un an. La maison d’arrêt, de justice et de correction des femmes, ou prison des Présentines, est un établissement en commun, installé dans un ancien couvent et dont l’aménagement est à ce point insuffisant, qu’il est impossible d’isoler les prostituées condamnées pour infraction aux arrêtés municipaux réglementant leur métier, du reste des autres condamnées. Quant à la prison d’Aix-en-Provence, qui abrite une population relativement élevée, elle est si modeste qu’on a dû renoncer à y appliquer les règlements disciplinaires, concernant l’interdiction de fumer et le silence. » 

En avril 1930, un inspecteur évoque l’idée de créer un seul et même établissement à Marseille qui réunirait ces trois établissements et les trois catégories de détenus qu’ils hébergent, à savoir des hommes, des femmes et des mineurs.

Les prisons des Baumettes sont construites selon un mode cellulaire, en conformité avec la loi du 5 juin 1875 sur le régime des prisons départementales dont l’article 1er indique : « Les inculpés, prévenus et accusés, seront à l’avenir individuellement séparés le jour et la nuit. » Ainsi, le modèle d’inspiration des Baumettes est celui de la prison de Fresnes. L’établissement n’a toutefois jamais été officiellement classé dans la catégorie cellulaire, il est donc toujours demeuré collectif.

Le 5 novembre 1931, le Conseil général des Bouches-du-Rhône approuve un projet de construction de prisons départementales à Mazargues dont le prix s’élève à 41 630 283,22 francs. Soumis au ministère de l’Intérieur pour obtenir une subvention, le Conseil supérieur des prisons demande à ce que coût soit abaissé et il est ramené à 27 659 505,89 francs.

Le projet établi par l’architecte en chef du département des Bouches-du-Rhône, Gaston Castel, prévoit la construction d’une prison unique composée d’un quartier pour femmes, surnommé « Petites Baumettes » (100 places), d’un quartier pour hommes, surnommé « Grandes Baumettes » (900 places), et de logements pour le personnel (mais pour faire baisser les coûts, ces logements ne seront pas construits).

Le mur d’enceinte est orné de sept motifs représentant les sept péchés capitaux sculptés par Antoine Sartorio. L’implantation à Mazargues de la prison s’effectue parallèlement à un projet de prolongement du boulevard Michelet qui doit permettre à terme de relier la prison à la ville de Marseille. L’intérêt de bâtir sur ce terrain (dénommé « La Seigneurie ») provient également de la fonction du site qui est une carrière : la pierre qui en sera extraite permettra donc la construction des bâtiments. L’acte de vente notarié d’un montant de 1 600 000 francs est signé le 15 juillet 1931 entre Antoine Laurent Barthélemi (ou Barthélemy) Martini (dit Martin), entrepreneur carrier, et le département des Bouches-du-Rhône.

Mais le chantier prend beaucoup de retard. Les entreprises ne sont pas payées et stoppent les travaux. L’une d’entre elles, chargée notamment de la construction d’un réservoir d’eau et du quartier des hommes, fait faillite en avril 1937.

En septembre 1939, le général Raulet, commandant de la base principale de la main-d’œuvre indigène, réquisitionne les Baumettes au titre du ministère du Travail pour y installer un camp d’hébergement destiné à des travailleurs indigènes en transit. L’objectif est que cette main-d’œuvre constituée de 50 000 Indochinois serve d’appoint durant toute la période de la guerre en remplacement des soldats partis au front. Ce camp comprend un centre d’isolement quarantenaire (quartier des femmes) et un camp de travailleurs (quartier des hommes). Le général demande au département d’achever les travaux indispensables pour rendre le site habitable. Mais celui-ci ne dispose pas des crédits suffisants pour le faire. Ainsi, les bâtiments n’ont ni eau courante ni tout-à-l’égout.

La situation sanitaire est donc catastrophique, comme en témoigne le préfet des Bouches-du-Rhône en décembre 1939 : « J’ai l’honneur de signaler, de la façon la plus instante, l’état de malpropreté dans lequel se trouvent, déjà, les locaux occupés aux Baumettes, par les annamites du service de la main-d’œuvre indigène. […] Des déprédations sérieuses ont été commises aux bâtiments, les cuisines sont dégoûtantes, les ustensiles traînent dans la boue, chambres et couloirs ne sont pas nettoyés ni même balayés, ainsi que les cours attenantes qui sont pleines de déjections humaines de toutes sortes. Il est évident qu’aucune surveillance, même sommaire, n’est organisée. »

Le camp est évacué en 1942 et la police allemande occupe l’infirmerie et le quartier des hommes en octobre 1943. La police française occupe le quartier des femmes en janvier 1943. En septembre suivant, l’établissement devient une maison de concentration pour tous les prévenus et condamnés pour des faits terroristes (c’est-à-dire des résistants essentiellement communistes et gaullistes). Puis le 31 décembre suivant, la direction régionale des services pénitentiaires est dirigée par un milicien, Monchio. Les rafles policières des vieux quartiers de Marseille organisées du 22 au 24 janvier 1943 entraînent l’incarcération de 2 500 personnes aux Baumettes. Parmi elles, 1 642 sont déportées, dont 782 juifs. À partir de mars 1944, tous les détenus politiques sont systématiquement livrés aux Allemands en vue de leur déportation vers des camps de concentration. Certains sont également fusillés. Cette situation dramatique prend fin lorsque les Forces Françaises de l’Intérieur (F.F.I.) prennent possession des lieux en 1944 et qu’un nouveau directeur régional des services pénitentiaires de Marseille, le lieutenant Didier, approuvé par le Comité de Libération, est nommé.

À la fin du mois d’août 1944, la situation est complètement désorganisée. La prison Chave, dont l’intérieur a été détérioré, est inutilisable (elle sera désaffectée en 1955). Tous les détenus de droit commun ont été libérés et plus de 2 000 suspects politiques ont été arrêtés par diverses autorités (F.F.I., comités, partis politiques, groupes de résistance) sans aucun mandat d’arrêt ou de dépôt. Ils sont gardés pour les uns à la prison Saint-Pierre, pour les autres dans des immeubles privés. En 1945, la prison Saint-Pierre est transformée en centre de séjour surveillé pour internés administratifs (elle sera désaffectée en 1953). Les Grandes Baumettes sont devenues une prison militaire qui abrite 5 000 à 6000 prisonniers allemands utilisés comme travailleurs pour l’armée américaine et les Petites Baumettes accueillent des criminels de guerre.

L’administration pénitentiaire parvient néanmoins à obtenir en 1946 la rétrocession par l’armée de l’établissement. L’effectif y est d’environ 2 000 détenus qui s’entassent à quatre, parfois à sept dans leurs cellules. Cette surpopulation provient du fait qu’ils sont tous répartis dans les cellules du bâtiment A car celles du bâtiment B ne sont pas encore achevées à cette date. Confrontés à des difficultés d’approvisionnement, les détenus couchent sur des paillasses posées à même le sol et ne disposent pas de chauffage. Cette situation perdurera bien au-delà de l’immédiat après-guerre. En mars 1949, l’administration pénitentiaire obtient la cession gratuite de l’établissement par le département des Bouches-du-Rhône, ce qui permet enfin d’achever les travaux.

Les Grandes Baumettes sont constituée de deux bâtiments parallèles reliés entre eux par un couloir central qui débouche sur un bâtiment administratif. Le bâtiment A (ou première division) accueille les prévenus et comporte 560 cellules réparties sur quatre étages. Le quartier B (ou deuxième division) accueille les condamnés et comporte 324 cellules réparties sur trois étages. Au-delà, le couloir central se prolonge et donne accès, à gauche, à une chapelle cellulaire, et à droite, à un bâtiment de 26 cellules. Y sont hébergés les condamnés à mort, les punis et les isolés. Enfin, un dernier bâtiment de huit pièces pouvant contenir chacune une quarantaine de détenus, sert, en principe, au désencombrement de l’établissement. Chaque cellule mesure 4 mètres de long sur 2,50 mètres de large et 3 mètres de haut et est dotée d’une fenêtre de 1 mètre 45 sur 1 mètre, d’un W.C. et d’un robinet d’eau.