人臉識別雖說發展到現在3、40年的時間了，但它一直存在的幾個難點，到現在也沒能徹底解決。
一、由姿態引起的面部變化。人臉識別主要還是根據人的面部特征，表象的特征來進行識別的，所以當你的姿態發生大的變化，面部會發生很大的變化。
二、光照對人臉識別的影響。
三、遮擋等外部干擾，比如一個人戴著墨鏡就會把面部的重要信息遮擋住了。
四、因為運動模糊、攝像機沒有對焦準確，造成的這種拍照的模糊也會對人臉識別造成影響。
五、人生理上的變化。比如說隨著年齡的變化，一個人從少年變成青年，變成老年，他的容貌可能會發生比較大的變化，這也會造成這個表象的變化比較大，從而導致識別率的下降。其次是雙胞胎的問題，人臉識別系統究竟能不能正確的識別出來，這個其實在學術界也是有爭論的，有一派是認為雙胞胎根本不應該靠人臉識別技術進行分辨，它是沒法用人臉識別技術來準確進行區分的。
除了上述因素，還有一個因素也經常被提及，人臉識別受不受到表情的影響？其實現有的技術對這些方面倒是處理得還不錯，你無論是張嘴還是做一些夸張的表情，計算機都可以通過三維建模和姿態表情校正的方法把它糾正出來。
