Olyckan inträffade vid en religiös högtid i en förort till Madeiras huvudort Funchal.
Två av de omkomna är barn, rapporterar den portugisiska rundradion RTP.
Trädet uppges var en omkring 200 år gammal ek.
Portugals premiärminister Antonio Costa framförde sina kondoleanser och landets president Marcelo Rebelo de Sousa uppgavs vara på väg till Madeira i kväll.
Utrikes
15.8.2017
Tolv döda när gammalt träd föll på dem på Madeira
Minst tolv personer omkom när de blev under ett fallande träd på den portugisiska ön Madeira strax efter middagstid på tisdagen lokal tid. Ytterligare ett 50-tal skadades, rapporterar BBC.