O narguilé é formado pelas seguintes peças:

Base: peça central do narguilé; assemelha-se a um vaso. É onde se coloca a água (ou, embora não seja tradicional, com outros líquidos, como arak, sucos  ou essências naturais). Geralmente é feita de vidro, metal ou cerâmica; algumas são ornamentadas com desenhos.

Corpo: peça cilíndrica que sustenta o fornilho e conecta-se à base. Na base, projeta um tubo para dentro da água, que conduz a fumaça.

Fornilho (rosh ou cabeça): peça de barro ou cerâmica onde coloca-se o tabaco e, por cima deste, o carvão em brasa.

Abafador: Artefato em metal (muitas vezes descartados), geralmente alto para proteger a brasa do vento, evitando o consumo rápido do carvão.

Mangueira: é por onde se aspira a fumaça. Uma ponta termina numa piteira, e a outra encaixa-se na parte superior do corpo do narguilé (acima da água). Pode haver mais de uma mangueira para que várias pessoas fumem juntas (porém estes com válvulas especiais, ou do contrário os usuários não poderão “puxar” a fumaça simultaneamente). Em narguilés usados em locais públicos, como bares, freqüentemente usa-se uma peça plástica removível na ponta da piteira, que pode ser lavada ou descartada a cada uso, ao contrário da mangueira em si, que não deve nunca ser lavada, pois pode oxidar, criando assim partículas de fuligem, que atrapalham a aspiração da fumaça.