霍山黃芽源于唐朝之前。唐中李肇《唐國史補》把壽州霍山黃芽列為十四品目貢品名茶之一。霍山黃芽唐時為餅茶，唐楊曄《膳夫經手金錄》載：“有壽州霍山小團，此可能仿造小片龍芽作為貢品，其數甚微，古稱霍山黃芽乃取一旗一槍，古人描述其狀如甲片，葉軟如蟬翼是未經壓制之散茶也。”
《史記》稱：壽春之山有黃芽焉，可煮而飲，久服得仙。六霍舊壽春故也。一曰仙芽，又稱壽州霍山黃芽。六安州小峴春，皆茶之極品，明朝始入貢。自弘治七年分設霍山縣，州縣縣貢。縣戶采辦者例應匯州總進。
六安州歲貢芽茶二百袋，每袋重一斤十二兩。自明弘治七年分設霍山縣后，隨定額分辦，州辦茶二十五袋，縣辦茶一百七十五袋。
國朝因之，至康熙二十三年奉文增辦一百袋，州承辦三十七袋，計六十四斤十二兩，縣承辦二百六十三袋，計四百六十斤四兩。每年州備價發縣代買一色芽茶。
今天下產茶處不下數百，致貢者僅十余處，而明朝上供專用六安，其余悉以市焉。每歲上供，霍多至三百六十封，又有副封以補其乏。州額不及什二，是霍倍其力，而六享其成。——清順治十七年《霍山縣志·貢茶》。