SSH 키 인증 설정했는데 "Permission denied (publickey)" 오류가 계속 나요

새 서버에 SSH 키 인증을 설정했는데 접속이 안 됩니다.

ssh -i ~/.ssh/id_ed25519 user@myserver.com
Permission denied (publickey).

authorized_keys에 공개키 넣었고, 파일 권한도 chmod 600으로 했는데 왜 안 되는 걸까요?