최종 업데이트:
🚀 빠른 해결법 요약
HandBrake에서 인코딩이 시작되지 않거나 0%에서 멈추나요? 출력 폴더 권한 확인 → 하드웨어 가속 비활성화 → 원본 파일 문제 점검 순서로 해결하세요. 대부분 이 순서로 해결됩니다.
📊 문제 증상 확인
다음과 같은 증상이 나타나면 HandBrake 인코딩 문제입니다:
⚠️ 일반적인 오류 메시지
- Encode failed
- No valid source found
- QSV/NVENC/AMD VCN (AMF, 구형 환경에선 VCE로 표기) encoder failed to initialize
- Queue finished with errors
- 진행률 0.00%에서 즉시 완료
증상별 특징
- 즉시 실패: 시작하자마자 오류가 발생하고 큐가 종료됩니다
- 하드웨어 인코더 전용 실패: NVENC, QSV, AMD 인코더 선택 시에만 문제 발생
- 특정 파일 실패: 일부 동영상 파일에서만 인코딩이 되지 않음
- 경로 관련 문제: 출력 폴더를 변경하면 정상 작동하는 경우
🔍 주요 원인 분석
1. 출력 경로 및 권한 문제
관리자 권한이 없는 폴더나 네트워크 드라이브에 저장하려 할 때 발생합니다.
2. 하드웨어 인코더 호환성
GPU 드라이버 문제나 구형 하드웨어로 인한 인코더 초기화 실패입니다. NVENC는 드라이버 570.0+(Windows 10 이상), Intel QSV는 드라이버 31.0.x.x+ 권장입니다.
3. 원본 파일 손상
깨진 메타데이터, 특수 자막, 복잡한 오디오 트랙으로 인한 파싱 오류입니다.
4. 설정 충돌
프리셋과 코덱 간 호환성 문제나 잘못된 컨테이너 선택입니다.
💾 방법 1: 출력 경로와 권한 점검
가장 흔한 원인이므로 먼저 확인해보세요. 출력 폴더를 간단한 로컬 경로로 변경하고 테스트합니다.
✅ 권장 출력 경로
C:\Video\HB_Output\
확인할 사항
- 파일명과 경로에 한글, 특수문자, 공백이 없는지 확인
- 네트워크 드라이브나 외장 하드 대신 로컬 드라이브 사용
- 출력 폴더에 쓰기 권한이 있는지 확인
- 경로가 너무 길지 않은지 점검 (기본 MAX_PATH 260자 제한, Windows 10 이상은 Long Paths 활성화 가능)
경로/권한 변경에도 즉시 실패가 반복된다면 윈도우 런타임 자체 오류 가능성이 큽니다. OBS 실행 오류 0xc00007b 해결법에서 기본 DLL 환경 점검 절차를 참고해 보세요.
⚙️ 방법 2: 하드웨어 가속 비활성화
하드웨어 인코더에서만 문제가 발생하는지 확인하기 위해 소프트웨어 인코더로 전환합니다.
비디오 코덱 변경 방법
- HandBrake에서 비디오 탭 클릭
- 비디오 인코더를 다음 중 하나로 변경:
- H.264 (x264) - 가장 안정적
- H.265 (x265) - 고효율 압축
- 다시 인코딩 시작
소프트웨어 인코딩은 되는데 NVENC/QSV/AMD 인코더만 실패한다면 드라이버/호환 이슈입니다. GPU 드라이버 CUDA NVENC 오류 해결 가이드로 버전별 체크리스트를 진행하세요.
📁 방법 3: 원본 파일 호환성 확인
특정 자막이나 오디오 트랙이 문제를 일으킬 수 있습니다. 최소 구성으로 테스트해보세요.
트랙 최소화 방법
- 자막 탭: 모든 자막을 제거하고 테스트
- 오디오 탭: 첫 번째 오디오 트랙만 남기고 나머지 제거
- 문제가 있는 트랙을 하나씩 추가하며 원인 특정
🎯 문제가 되는 요소들
- PGS/SUP 그림 자막 (MP4 컨테이너는 패스스루 불가, 1개만 번인 가능)
- 손상된 SRT 자막 파일
- DTS-HD, TrueHD 등 고급 오디오 코덱
- 5.1채널 이상의 다채널 오디오
🎛️ 방법 4: 프리셋 및 컨테이너 조정
복잡한 사용자 설정 대신 기본 프리셋으로 호환성을 확인합니다.
기본 설정으로 초기화
- 프리셋: General → Fast 1080p30 선택
- 컨테이너: MP4 선택 (가장 호환성 높음)
- 고급 옵션: 모든 커스텀 설정 제거
- 패스스루 옵션이 있다면 임시로 비활성화
📝 권장 기본 설정
- 포맷: MP4
- 비디오 코덱: H.264 (x264)
- 오디오 코덱: AAC
- 품질: Constant Quality 20-23
💻 방법 5: 시스템 환경 최적화
시스템 리소스와 보안 소프트웨어가 인코딩을 방해할 수 있습니다.
확인할 시스템 요소
- 디스크 공간: 목적지 드라이브에 최소 10GB 이상 여유 공간 확보
- 메모리: 다른 프로그램 종료로 RAM 확보
- 백신/방화벽:
HandBrake.exe와HandBrake.worker.exe를 예외 목록에 추가(로컬 127.0.0.1 통신 사용) - .NET Desktop Runtime: Windows 사용자는 Microsoft .NET Desktop Runtime 8.0.x 설치/최신 여부 확인
- 전원 관리: 노트북의 경우 고성능 모드로 설정
🔧 고급 해결법
활동 로그(Activity Log) 확인
오류 원인을 신속히 특정하려면 Activity Log 창을 열어 실패 지점을 확인하세요. Windows 로그 파일 기본 위치는 아래와 같습니다.
C:\Users\사용자명\AppData\Roaming\HandBrake\logs
failed to initialize,invalid,permission denied,not supported같은 키워드를 먼저 확인- 오디오/자막 트랙, 컨테이너/코덱, 출력 경로 관련 경고를 찾아 해당 단계로 돌아가 재설정
GPU 드라이버 업데이트(공식 링크)
- NVIDIA: GeForce 드라이버 다운로드 (NVENC: 570.0+ / Windows 10 이상)
- Intel: Intel Driver & Support Assistant (QSV 드라이버 31.0.x.x+ 권장)
- AMD: Radeon Software Adrenalin
환경설정(출력 파일) 기본 경로/자동 이름
중복 파일명/존재하지 않는 폴더로 인한 실패를 줄이려면 Preferences → Output Files에서 Default Path와 Automatically name output files를 설정하세요.
HandBrake 재설치
모든 방법이 실패했다면 깨끗한 재설치를 시도하세요.
- 기존 HandBrake 완전 삭제
- 공식 사이트에서 최신 안정 버전 다운로드
- 설정 폴더 초기화 후 재설치
✅ 최종 점검 목록
모든 항목을 순서대로 확인하세요:
- ☐ 출력 폴더가 로컬 드라이브이고 쓰기 권한이 있음
- ☐ 파일명/경로에 특수문자·한글이 없고, 경로 길이가 과도하지 않음(Long Paths 필요 시 활성화)
- ☐ 소프트웨어 인코더(x264/x265)로 테스트 완료
- ☐ 자막과 오디오를 최소 구성으로 줄여서 테스트(필요 시 PGS 번인/컨테이너 변경)
- ☐ MP4 컨테이너와 기본 프리셋(General → Fast 1080p30)으로 확인
- ☐ 목적지 드라이브 여유 공간 10GB 이상
- ☐ 백신/방화벽 예외 설정(HandBrake.worker.exe 포함, 127.0.0.1 로컬 통신)
- ☐ GPU 드라이버 최신, Windows는 .NET Desktop Runtime 8.0.x 설치/최신
❓ 자주 묻는 질문
Q: 하드웨어 인코딩이 더 빠른데 왜 비활성화하나요?
원인 분리를 위해서입니다. 소프트웨어 인코더(x264/x265)에서 정상 작동하면 GPU 드라이버/호환 문제가 의심됩니다. 문제를 해결한 뒤 다시 하드웨어 가속을 켜세요.
Q: 특정 파일만 인코딩이 안 되는 이유는?
메타데이터 손상, PGS/SUP 자막, 복잡한 오디오 트랙 등으로 파싱 실패가 날 수 있습니다. 자막/오디오를 최소 구성으로 줄여 테스트해 보세요.
Q: DVD나 암호화된 파일도 인코딩할 수 있나요?
HandBrake는 DRM이 적용된 콘텐츠의 암호화 해제를 지원하지 않습니다. 합법적으로 소유한 비보호 콘텐츠만 변환할 수 있습니다. 자세한 내용은 공식 문서를 참고하세요.
Q: 인코딩 속도가 너무 느린데 어떻게 하나요?
문제 해결 후 하드웨어 가속을 다시 활성화하고, Fast 프리셋으로 변경하거나 해상도를 낮춰 테스트하세요. 품질과 속도는 서로 상충합니다.
🔗 관련 도움말
다른 영상/스트리밍 툴 문제도 겪고 있다면, 영상/스트리밍 툴 오류 해결 모음 허브에서 상황별 가이드를 한 번에 확인하세요.
🎉 문제가 해결되셨나요?
이 가이드로 HandBrake 인코딩 문제를 해결하셨다면, 같은 문제로 고생하는 다른 분들을 위해 댓글로 어떤 방법이 효과적이었는지 공유해주세요. 여러분의 경험이 큰 도움이 됩니다!
0 댓글