L’origine precisa del santuario non è attestata da nessun documento ed anche la tradizione orale è, al riguardo, molto vaga.

Alcune fonti sembrerebbero comunque indicare il piccolo colle di Luzzogno come luogo di culto mariano molto antico, trasformato, attraverso i secoli, nell’oratorio che oggi conosciamo. Il vescovo Carlo Bescapè nella prima visita pastorale alla Colletta, il 9 settembre del 1597, parla, infatti, di una “scarsa imago lignea super altare Beata Virginis Mariae, lactantis rudis et vetustate corrosa atque deformis“: esisteva dunque un’antica statua di legno di Maria intenta ad allattare il Bambino, ai tempi già rovinata e corrosa e, secondo il vescovo, da sostituire.

Proprio la tipologia della scarsa rappresentazione ci rimanda ai tempi remoti, essendo quella di “Maria lactans” la più antica effige conosciuta della Madre di Dio, importata in Europa dall’Oriente a seguito delle crociate (1095-1291): la lattazione di Maria è simbolo di adempimento della volontà del Padre, dimostrazione della vera umanità del Cristo, fonte battesimale, sacramento, alimento eucaristico.

Questo culto avrà occasione di proporsi anche in forme popolari di venerazione: piccole cappelle ed affreschi sparsi nelle vie dei paesi o in luoghi isolati di passaggio. Altra testimonianza sono le parole di Don Togno, rivolte al vescovo di Novara nel 1884 per ottenere il permesso di incoronare la statua della Vergine (prima incoronazione, anno 1885): “L’erezione di questo Oratorio fu quasi contemporanea all’erezione della Parrocchia di Luzzogno, che seguì l’anno 1455 ; la onde in quell’epoca venne collocata detta statua in detto Oratorio, la quale statua, secondo una vecchia tradizione, già da tempo anteriore stava esposta alla pubblica venerazione in una cappelletta che venne poi convertita nell’attuale Oratorio, successivamente ampliato a spese di un ricco signore della nobil casa Gozzano ,di Luzzogno per grazia ricevuta dalla B. V. Della Colletta“. Si parla anche qui di una precedente cappelletta in cui era esposta una statua della Vergine, presumibilmente quella di Maria Lactans, sostituita poi con quella odierna della Madonna delle Grazie, della quale si ha notizia in un documento vescovile del 1629:”Beatae Maria Virginis cum filio in gremio“; non più “Lactantis” ma comunque e sempre fonte, nutrice e dispensatrice di grazia. La primitiva cappelletta verrà a poco a poco ampliata. la madonna delle grazie in chiesa parrocchiale

Le relazioni delle due prime visite pastorali ci descrivono un piccolo Oratorio composto da un’unica navata, pavimentato, col tetto in piode, due soli punti luce e”Sacrae imagines” sullo fondo annerite dal fumo delle candele; sopra l’altare vi è la statua della Madonna del Latte. Nei secoli successivi la costruzione fu ingrandita e arricchita di nuovi accessori. Tra il 1617 e il 1629 fu costruito il campanile. Il dipinto sulla facciata, con “l’immagine vecchia della Beata Vergine” ed il malcapitato Gozzano rinchiuso in carcere (risale a circa metà del XVII secolo), venne ritoccato nel 1865 dal pittore Mattazzi di Massiola. Chi fosse questo Gozzano non ci è dato di sapere: forse un ricco signore oppure un concaro (secondo Don Celso De Giuli ) protagonista di uno sfortunato scambio di persona e finito in carcere accusato di furto.

Quale che sia la verità, pare certo che a questo Gozzano si debba l’ampliamento e la sistemazione della chiesetta nella metà del 1600, periodo in cui il Santuario fu intitolato alla Madonna delle Grazie. Oggi l’Oratorio è dedicato alla Natività di Maria, culto che sottolinea l’attenta preparazione alla venuta di Cristo già con la Santa Nascita di sua Madre; la nuova intitolazione viene menzionata già nel 1820. Nei secoli XIX e XX i restauri continuarono. Nel 1942 fu sistemato anche il piazzale esterno, si portò l’acqua potabile al Santuario, si aggiunse il riparo all’entrata e furono rinnovati tetto e campanile; fu pure costruito il coro degli uomini, come testimoniano le due lapidi sulla facciata. Negli anni 70 fu rifatta l’intera copertura in rame del tetto, pavimentato il piazzale e chiuso il sagrato con un arco in serizzo ed una cancellata di ferro battuto. Recentemente è stata collocata sul piazzale una fontana in granito e sono stati ricavati dei locali di deposito sotterranei. All’interno del Santuario i restauri, eseguiti nel 1996, hanno rimesso in luce sulla parete sinistra della navata gli affreschi che già si vedevano in parte di inizio XVI secolo, che rappresentano da sinistra a destra: nel primo riquadro, San Rocco e la Madonna con Gesù Bambino; nel secondo, San Bernardo; nel terzo, Gesù in croce, la Madonna e San Giovanni; nel quarto, di grandi dimensioni, il Giudizio Universale. Nel registro sottostante in tre riquadri sono rappresentate virtù Cristiane impersonate dalla Madonna: la Concordia, la Carità, l’ Umiltà. Le pitture delle quattro lunette della navata sono state eseguite nel 1943 da Pietro Gaddia, quelle delle volte da Cesare Tos nel 1935.