Martial (ou Marthial) Allemand Lavigerie, originaire d’Angoulême, vint habiter Bayonne vers 1802 comme Receveur de la Loterie Nationale. En ce même début du siècle au moins trois de ses frères et sœurs (d’une famille de treize enfants) sont également venus s’établir à Bayonne.
Martial s’était marié avec Louise Vaslin. Divorcé en 1796, il s’est remarié le 17 juin 1801 avec Marie-Louise Raymond de Saint Germain, né à St Domingue en janvier 1776. Le ménage vint s’établir à Bayonne probablement peu après leur mariage.
Martial Allemand Lavigerie est toujours resté Receveur de la Loterie “Nationale”, “Impériale” et “Royale”. Ses fonctions l’avaient certainement mis en relation avec des personnes importantes du milieu financier bayonnais. En 1807, Martial devint membre de “La Zélée”, loge des Francs-Maçons de Bayonne, et il y tint plusieurs offices. Sa jeune femme est morte en I8I3,un mois après la naissance de leur cinquième enfant.
Léon Philippe Allemand Lavigerie (qui sera le père du Cardinal) était le premier fils de Martial. Il ne vivait pas à Bayonne, mais à Angoulême avec sa mère, Louise Vaslin. Cependant, en I8I7, il commença sa carrière dans les douanes au port de Bayonne. Il avait 22 ans. À part deux mois à Vannes en 1820, tous ses postes ont été à Bayonne ou dans les environs : Ustaritz, Urdos, Aînhoa, Bordeau.. Il gravit les échelons : de “surnuméraire” en 1817 à ” Receveur” aux Déclarations à la Douane Royale en 1824. C’est alors qu’il épousa, le 3 novembre 1824, Hermine Louise Latrilhe, qui habitait à Huire.
Le bâtiment principal du Domaine de Huire ne comprenait qu’un seul étage et, malgré quelques grandes pièces peu nombreuses, on y était à l’étroit maintenant que la famille s’agrandissait. Le jeune ménage Lavigerie-Latrilhe alla habiter la maison annexe sur la même propriété. C’est là que sont‘nés les trois premiers enfants du ménage : Charles (1825), Pierre Félix (1828) et Louise (Mme Kienner) (1832). Les gens racontent que toute la famille vivait ensemble au “”Grand Huire”, même si le jeune ménage Lavigerie logeait dans le bâtiment voisin.
Tous se rassemblaient pour les repas au “Grand Huire”.
Quand la famille Latrilhe fut obligée de quitter le Domaine de Huire en 1832, les Lavigerie allèrent habiter en 1832 ou 1833 la villa Beaulieu qu’ils avaient fait construire au cours de l’année 1832 également dans le quartier St Etienne. C’est de là que Charles et ses frères se rendirent chaque jour au collège St Léon situé près de la cathédrale de Bayonne.