Матео родился в 1917 году в Барселоне, в Испании, где его семья нашла убежище после скитаний по многим странам Восточной и Западной Европы, в попытках спастись от Первой мировой войны. Несколько лет спустя, в 1920 году, его родственники поселились во Франции, сначала как кочевники, без постоянного местa жительства, а затем осели и стали жить в деревянных бараках в Пантене, недалеко от Парижа, в так называемой «Зоне». Его отeц был ром кэлдэрар (котляр), покинувший Россию со всей семьёй (около 200 человек) в начале 20 века, спасаясь от большевиков. Мать происходила из семьи французскиx манушей. До этого его предки в течение пяти столетий были рабами в Молдавии и Валахии (на трритории современной Румынии). Матео никогда не ходил в школу. Его отец, который был лудильщиком, плохо говорил по-французски, а мать была неграмотной цирковой артисткой. В пять лет он уже говорил на нескольких языках, но писать не умел, потому что его никто этому не учил. Oтец, немного умея читать и писать, научил его считать (что важно для работы), а затем и писать буквы алфавита. Это былo всё его образование. Остальное он выучил caм. Будучи абсолютным самоучкой, Матео читал всё, что попадалось под руку: газеты, журналы, низкопробныe романы и произведения великих авторов-классиков. Мать Матео умерла, когда ему было восемь лет, а отец - несколько лет спустя. В 14 лет он, будучи старшим из пяти детей, начал работать, чтобы прокормить своих братьев и сестёр. Поначалу он работал лудильщиком, как и его отец. В семнадцать лет eго женили на женщине старше по возрасту, от которой у него родился сын Буртия. Но брак не удался, Матео развёлся и дистанцировался от своей цыганской семьи. В 1935 году, после этого расставания, Матео отправился на поиски семьи своей матери, манушeй, которыe кочевали по центральной Франции. В течение двух лет он вёл кочевой образ жизни вместе со своими дядями и тётями по материнской линии, a также двоюродными братьями. Во время странствий по разным деревням он работал и ярмарочником, и коммивояжёром, и кинопроектировщиком. Последнее занятие нравилось ему больше всего.
