Η γέννηση της Συλλογής Phillips προήλθε από το όραμα του κριτικού τέχνης Duncan Phillips. Το 1921, μετέτρεψε την οικογενειακή του έπαυλη σε μουσείο, αρχικά εκθέτοντας μόνο 600 ιδιωτικές συλλογές, αλλά σύντομα άνοιξε για το κοινό, καθιστώντας την πρωτοπόρο στη συλλογή μοντέρνας τέχνης στις Ηνωμένες Πολιτείες. Το ίδιο το κτίριο του μουσείου είναι μια ιστορία της τέχνης: το κύριο σώμα είναι μια έπαυλη από κόκκινο τούβλο που χτίστηκε το 1897 και αργότερα επεκτάθηκε σε τρία τμήματα, τα οποία όχι μόνο διατηρούν την ιστορική γοητεία αλλά ενσωματώνουν και το μοντέρνο σχεδιασμό.

Η συλλογή του μουσείου επικεντρώνεται στον ευρωπαϊκό ιμπρεσιονισμό και την αμερικανική μοντέρνα τέχνη του 20ού αιώνα, καλύπτοντας αριστουργήματα δασκάλων όπως οι Βαν Γκογκ, Σεζάν, Ρενουάρ, Ντεγκά, Πικάσο και Ματίς. Ως ζωγράφος λαδιού, η Μάρτζορι Άκερ, σύζυγος του Ντάνκαν Φίλιπς, έχει βαθιά επιρροή στην κατεύθυνση της συλλογής του μουσείου, η οποία σταδιακά επεκτάθηκε από τον ιμπρεσιονισμό στον τομέα της μοντέρνας τέχνης. Το 2006, το μουσείο ίδρυσε το Κέντρο Έρευνας Σύγχρονης Τέχνης για να προωθήσει περαιτέρω τον διάλογο μεταξύ τέχνης και εποχής.

