Dopo gli splendori, le visite reali e i matrimoni dei figli, per Iacomo e la sua famiglia comincia un periodo di lento, ma inesorabile declino.

Affranto per la morte della adorata Piccabella, avvenuta nel 1605, colpito dal destino nei suoi beni più cari: la perdita delle tre grosse navi da trasporto nell’arco di pochi anni, umiliato dal degrado fisico e dalla malattia, gli ultimi anni del Ragazzoni furono caratterizzati  da una pesante serie di avversità. Essi trascorsero tra le dimore di Noventa Padovana, Settimo, Sacile e Venezia.

Presenti tutti i familiari, il decesso avvenne a Venezia il 18 gennaio 1610.
Fu sepolto nella chiesa di Santa Caterina, chiesa che Lui aveva fatto costruire in onore della Santa.

La città di Venezia si commosse: poeti, scrittori, semplici cittadini dedicarono alla memoria di Iacomo poesie, scritti, ecc. per ricordare l’Illustre Cittadino.

Qualche mese dopo, morì anche il figlio Benedetto, lasciando il suo giovanissimo figlio Giacometto alla tutela dello zio Vettor, Arcivescovo di Zara. Ma anche l’Arcivescovo Vettor, stroncato da febbri maligne, morì dopo pochi anni, nel 1615.

Il nipote Giacometto rimase affidato ad uno zio materno, però anche questo signore, dopo pochi anni morì.

Giacometto, giovanissimo, bello, intelligente e molto ricco, fu facile preda di cattivi consiglieri. Purtroppo egli si gettò in una serie di imprese molto sbagliate, errori che pagò con la vita.

Il giovane Conte morì nella campagna mantovana ucciso in una rissa. Data presunta: 1627/28.

I beni di Giacometto  furono confiscati dalla Repubblica Veneta, con bando pubblicato sulle scale di Rialto, il 21 ottobre del 1625. La Repubblica li usò per pagare i debiti lasciati dal giovane.

Così, miseramente, si concluse l’epoca splendida della  famiglia Ragazzoni.