賽夏族的矮靈祭在台灣原住民各族中是極為特殊的祭典。矮靈祭是一種全族性的祭儀活動，通常在小米收穫之後，稻米已熟但未收穫時舉行，是賽夏族人心目中最重要的祭儀活動。矮靈祭並非與主宰性的神靈信仰結合，而是一個以異質衝突、傳說中的矮靈為核心的祭儀，而這個矮靈傳說也成為賽夏族信仰的一部份，凸顯了異族群、異文化在賽夏族生存發展的生命經驗中獨特的地位。

矮靈祭在賽夏族的母語中稱為Pas-taai。taai對現在的賽夏族而言有「神」的意思，但它原本是指傳說中身高不滿三尺的矮人族。傳說中的矮人居住於上坪溪溪谷的山洞中。他們的語言與賽夏族人一樣。矮人教導賽夏族人耕種技術及歌謠。然而矮人男子性好女色，常欺負賽夏女子，引起賽夏族男子的憤怒。他們於矮人回家途中會停下來休息的山琵琶樹鋸斷一半，並以泥巴覆蓋遮掩。當矮人回家時路過此樹時，除了兩個老人家外，所有矮人都爬上此樹，因而墜入溪谷淹死了。生還的矮人老人家教會賽夏族人祭典的歌謠並要求舉行矮靈祭，只有朱姓族人將歌全部學會，所以矮靈祭就由朱姓擔任主祭。

之後，這兩個矮人就邊撕山棕葉邊警告賽夏族人要謹記教誨，然後向不可知的東方離去。自從矮人死後，賽夏族的作物就年年欠收，賽夏族人認為是矮靈作祟，於是開始年年舉行矮靈祭求取矮靈的原諒，這就是賽夏族矮靈祭的由來。日治時期，日本統治者擔心每年一祭會增加族人間的團結，便下令改為每兩年舉行一次小祭，每十年舉行一次大祭。

矮人教導賽夏族人農業技術，矮人離去時的詛咒卻要帶走族人的長壽與富有，使得族人對於矮人又愛又恨。賽夏族對矮人欲拒還迎的情緒，具體而微的展現他們面對外來族群的矛盾心態。因為矮靈祭是基於對矮靈懺悔所舉行的祭典，所以整個儀式是神聖敬畏的，儀式的舞步沒有花俏的動作，主要是強調整體性的踏步，徹夜的歌舞維持著漩渦狀的隊形，隨著祭歌腔調轉折引發出來的舞步，在寧靜的夜晚特別顯出其震攝人心的氣氛。