从北峰往南走，便开始登上攀爬主峰的道路。距北峰不远处是“仙人砭”，与“仙人砭”相连的就是“擦耳崖”了。这里一面是向外凸出的悬崖绝壁，一边是深不见底的万丈深渊，游人行至此处，唯恐被山势逼下悬崖，需身体紧贴崖壁慢慢侧身而过，道路紧仄之处更是岩壁擦耳，连脸面都蹭在崖壁上才走得过去。
袁宏道曾有诗描写擦耳崖之险：“逋客时时属耳垣，倚天翠壁亦可言。欲知危径欹危甚，看我青苔一面痕。”形容经过这里不仅要贴崖擦耳，甚至脸皮都沾上了青苔。现在擦耳崖的道路已修整，宽处可走两人。但是到了最逼仄的地方，仍然可以感受到当年的擦耳之险。擦耳崖周围摩崖石刻很多，像天然的书法屏障。