颜之仪幼年聪颖善悟，三岁时能读《孝经》。长大后，博览群书，喜好写词赋。曾经进献《神州颂》，文辞典雅富丽，梁元帝亲手写敕书回应说：“枚乘双辈人，都能与梁王交游，应贞两代人，都以文学著称。我寻求才子，心中的郁塞大得宽慰。”
西魏平定江陵后，颜之仪按照规定迁到长安。北周明帝任命他做麟趾殿学士，以后逐渐升迁为司书上士。宇文邕刚册立宇文赟为太子时，高规格地为太子选择师傅，选颜之仪为侍读。宇文赟后来征讨吐谷浑，在军中有不轨行为，郑译等人都因不能辅助纠正而受到宇文泰责罚，只有颜之仪因为屡次劝谏而获得奖赏，当即被宇文邕拜为小宫尹，封平阳县男，食邑二百户。 开皇元年（581年），杨坚登基，下诏将他征回京师，进爵为新野郡公。
开皇五年（585年），官拜集州刺史，在任期间州内清平安宁，各民族百姓都很喜欢他，次年交接回朝，从此赋闲在家，不再做官。
开皇十年（590）正月，颜之仪按照惯例上朝廷去进见，杨坚望到后就认出了他，命令带他到御座前，对他说：“碰见危难勇于献出生命，在大节骨眼上能够不被动摇，古人也难做到，我能用什么来给爱卿呢！”于是赏赐铜钱十万、大米一百石，开皇十一年（591年）冬天去世，终年六十九岁，有文集十卷流传于世间。