Ilma-vesilämpöpumpussa on tavallisesti kaksi osaa, ulko- ja sisäyksikkö. Ulkoyksikössä on puhallin, joka kierrättää ulkoilmaa höyrystimen läpi. Ulkoilman lämpö siirtyy höyrystimen kylmäaineeseen, joka muuttuu kaasuksi. Ilma-vesilämpöpumpun kompressori puristaa kaasun korkeampaan paineeseen, ja se kuumenee. Kuuma kaasu lämmittää talon lämmitysveden ja lämpimän käyttöveden.
Ilma-vesilämpöpumput jakautuvat toimintansa perusteella pääasiassa kahteen ryhmään. Split-tekniikalla toimivissa ilma-vesilämpöpumpuissa sisä- ja ulkoyksikön välillä kiertää lämpöpumpun kylmäaine. Kylmäaine menee sisäyksiköltä ulkoyksikölle nestemäisenä, ja palaa ulkoyksiköltä takaisin sisäyksikölle kuumana kaasuna, joka lämmittää veden. Monoblock-tekniikalla toimivissa ilma-vesilämpöpumpuissa sisä- ja ulkoyksikön välillä kiertää vesi. Vesi virtaa sisäyksiköltä ulkoyksikölle, ja ulkoyksikön lämpöpumppu lämmittää veden, joka palaa takaisin sisäyksikölle lämmenneenä.
