Dipende da quanto ti interessa vedere una città quando ci sono bellissimi posti di mare. Cioè, dipende dai tuoi interessi.
Io vado a Rethimno e ci passo una notte per godermi la città di sera e i suoi ristoranti: di giorno preferisco fare altro.
Il museo di Heraklio è splendido ma fare tutta la strada da Chania per vedere quello, deve essere proprio tra gli imperdibili, nella tua lista. A questo punto fai i tre gg in più, alloggi a Matala e ti fai la gita a Heraklio in mezza giornata. Così ha più senso

Per quanto riguarda Elafonissi, io avevo passato un pomeriggio a Kedrodasos e la mattina successiva a Elafonissi, per poi ripartire dopo mezzogiorno. In un'altra occasione ero arrivata in serata, ho alloggiato a Elafonissi e la mattina dopo ho passato un paio d'ore a fotografare le sue baie a nord, poi ho visitato un'altra spiaggia (Aspri Limni) e il vicino monastero.