В первом случае по всей видимости не хватает строчки для работы с tcb. Во втором случае - здесь должен быть required: auth sufficient pam_rootok.so