Sì, potrebbe essere una buona soluzione.
Da San Vito sei poco lontano da splendidi posti come Scopello, la Riserva dello Zingaro e magari anche quella di Monte Cofano, eventualmente Segesta. Trapani è ottima per Erice, le bellissime Saline dello Stagnone con l'isola di Mozia, Marsala, le Egadi. Per queste ultime, a mio parere, è un peccato fare dei vai-e-vieni giornalieri da Trapani alle isole e forse sarebbe il caso di dedicare ad esse una vacanza "mirata" in altra occasione. Ma ovviamente la scelta sta a te, a seconda delle tue predilezioni.
Potrebbe esserti utile il mio resoconto, un po' vecchiotto ma tuttora valido per le distanze e i luoghi di visita: http://www.cisonostato.it/diario_dettaglio.php?idD=514