Podstawą działania pompy ciepła są powszechnie znane zjawiska fizyczne. Urządzenie czerpie ciepło z jednego miejsca o niższej temperaturze (tzw. źródło dolne) i oddaje to ciepło w miejscu o wyższej temperaturze. Najczęściej wykorzystywane rodzaj dolnego źródła ciepła, to powietrze lub grunt, stąd właśnie podział na pompy ciepła powietrzne i pompy ciepła gruntowe.
Domowa instalacja grzewcza to ogrzewanie podłogowe, grzejniki – najlepiej niskotemperaturowe lub podgrzewanie ciepłej wody użytkowej. Aby ułatwić zrozumienia pobierania i oddawania ciepła przez urządzenie często mówi się, że działa ono jak lodówka, ale na odwrót.
Najprostszy schemat pompy ciepła składa się z czterech elementów. Pierwszy z nich to sprężarka, tu dociera chłodny gaz o niskim ciśnieniu. Kiedy zostanie sprężony ciśnienie i temperatura odpowiednio rosną i gaz ten opuszcza sprężarkę. Następnie trafia do wymiennika ciepła, gdzie następuje jego skroplenie.
Dzięki skropleniu gaz oddaje ciepło czynnikowi, obecnemu po drugiej stronie wymiennika. Następnie gaz już jako schłodzona, skroplona ciecz trafia do tzw. zaworu dławiącego. i do parownika. W parowniku jest z kolei podgrzewany ponownie do temperatury wrzenia i ponownie trafia do sprężarki. Obieg się zamyka.