黄土高原的黄土层由数百万年的风成沉积形成，最厚处超过三百米。这种以粉砂颗粒为主体的特殊土壤具有两项对建筑极为有利的物理特性。其一是极高的直立稳定性：在干燥条件下，黄土可以保持垂直剖面数十年不坍塌，使沿崖壁横向开挖拱形洞室成为可能。其二是极大的热惰性：厚达数米的黄土层在冬季缓慢释放地热，在夏季将酷暑隔绝于窑体之外，以最朴素的物理原理实现了全年恒温的天然调节。实测数据表明，即使室外温度在零下二十度与四十度之间剧烈波动，窑洞内部的温度全年稳定在十至二十二度之间，无需任何主动能源输入即可维持人体舒适的居住环境。正是凭借这两项与生俱来的物理禀赋，黄河中上游的先民在大地中掘出了冬暖夏凉的居所，创造了人类建筑史上延续至今仍在使用的最古老的大地居住形态。
窑洞的起源可上溯至新石器时代。仰韶文化（约前五千年至前三千年）的陕西半坡遗址中，已出现以人工挖掘的圆形坑穴为下半部、以树枝草泥为上半部屋盖的半地穴式居所，这是窑洞建筑的最初雏形。至龙山文化时期，黄土崖壁上已出现纯粹横向开挖的完整横穴式窑洞。据中国传统记载，此类穴居形态在夏代（约前二千年）的黄土高原已相当普遍。在陕西、甘肃、宁夏、山西和河南西部的黄土高原核心地区，考古发掘了大量可追溯至周、秦、汉各代的窑洞聚落遗迹，证明窑居传统在这片土地上延续了数千年之久。隋唐时期窑洞的建造技术逐步成熟，明清两代达到鼎盛。据二十一世纪初的统计，中国北方仍有三千万至四千万人居住在各类窑洞之中，其中甘肃庆阳地区的窑洞居住比例在全国最高。
窑洞按建造方式可分为三种类型。靠崖式窑洞是最原始、最经济的形式，直接在黄土崖壁上横向开挖拱形窑室，以崖面作为天然立面，施工仅需一把镐头，延安地区的窑洞多属此类。地坑式窑洞解决了平坦塬面上缺少高崖的难题：先在塬面上向下开挖一个方形的下沉式院落，深约六至十米，再从院落四壁横向掘出窑室，形成独特的天井式地下庭院，河南西部称之为“地坑院”，从地面俯瞰只见院落而不见房屋，有“见树不见村，进村不见房，闻声不见人”之说。箍窑式窑洞则以土坯或砖石在地面上砌筑拱形窑体，其拱顶形态源自地下窑洞的天然弧线，可以脱离崖壁地形的限制在任何平地上建造。三种形式因地制宜、灵活切换，体现了窑居建筑对不同地形的高度适应能力。
窑洞与中国近现代史有着密切的关联。一九三五年至一九四八年间，延安成为革命根据地的核心，毛泽东与中央机关在延安凤凰山、杨家岭、枣园等处的窑洞中，指挥了抗日战争与解放战争中的大量军事决策。美国记者埃德加·斯诺在延安的窑洞中采访并写下了“红星照耀中国”一书，让世界第一次看到了黄土窑洞中的中国革命。然而窑洞也承受过巨大的灾难：明嘉靖三十四年（一五五六年）陕西华县发生八级大地震，大量窑洞坍塌，约十万人直接死于窑居倒塌，成为世界地震史上伤亡最惨重的事件之一。
二〇〇六年，陕北窑洞营造技艺被列入中国国家级非物质文化遗产名录。二十一世纪以来，国际建筑学界重新关注窑居作为极端低碳、可持续人居模式的当代价值。窑洞以土地本身为全部建筑材料，在全生命周期碳排放上远低于任何以水泥钢筋为主体的现代建筑，被视为生态建筑的古老先驱。一些建筑师开始尝试将窑洞的拱形结构与现代材料相结合，探索将传统窑洞的拱形空间与现代通风采光技术相结合的“新窑洞”方案。
窑居绵延数千年的内在逻辑，在于以大地为材料、以物理为工法。黄土的高直立性提供了结构安全，黄土的高热惰性提供了气候调节，两者共同构成了一套不依赖任何外部能源输入的自足居住方案。在最贫瘠的黄土中发现关于居住的最朴素也最深刻的智慧，这正是窑洞能够在极端贫困中为数百万人提供持续数千年的可居住条件的根本原因。
