OBS 게임 캡처 안됨 해결: Windows 11 검은 화면·후킹 실패, Capture Method 전환 가이드

Windows 11에서 OBS 게임 캡처가 작동하지 않는 문제는 다중 GPU 설정, 후킹 차단, 오버레이 충돌 등 복합 요인으로 발생합니다. 본 가이드는 OBS 공식 문서와 포럼의 검증된 사례를 기반으로 Windows 11 환경에서 안정적으로 게임 화면을 캡처하기 위한 절차를 정리했습니다.

주요 원인

1. 다중 GPU 충돌: 노트북의 내장 GPU와 외장 GPU가 서로 다른 프로세스를 담당할 때 후킹 실패가 발생합니다. OBS와 게임을 동일 GPU로 강제 지정해야 합니다.

2. 오버레이·후킹 앱 간섭: Discord, GeForce Experience, Xbox Game Bar, RTSS 등은 OBS의 후킹 경로를 선점할 수 있습니다. 필요 시 모두 비활성화합니다.

3. 캡처 방식 비호환: 일부 게임은 Windows Graphics Capture(WGC) 또는 DXGI 호환성 문제로 빈 화면이 출력됩니다. 캡처 방식은 단계별 전환 테스트가 필요합니다.

운영체제별 차이와 흔한 배경

Windows 11은 Windows 10 대비 그래픽 보안이 강화되어, 동일 설정이라도 후킹 실패가 더 자주 보고됩니다. 특히 DirectX 12 기반 게임이나 안티치트가 적용된 환경에서는 OBS 게임 캡처가 차단되는 경우가 있습니다.

원인별 비교표

원인설명해결 방법참고
다중 GPU 충돌게임과 OBS가 서로 다른 GPU 사용둘 다 동일 GPU로 지정설정→시스템→디스플레이→그래픽→앱 추가/옵션→고성능(외장 GPU)
오버레이·후킹 간섭Discord·GeForce Experience·Xbox Game Bar 등오버레이 전부 비활성화Game Bar 캡처·Discord 오버레이 해제 후 테스트
캡처 방식 비호환WGC(Windows 10/11, Game/Window Capture) 또는 DXGI(디스플레이 캡처) 환경별 불안정자동→WGC→레거시 순서로 전환빈 화면 시 다음 단계 방식으로 즉시 교체
DX12 전용 렌더링DirectX 12 API가 후킹을 제한가능하면 DX11로 전환게임 옵션의 그래픽 API 변경
안티치트·보안 정책게임 프로세스 보호로 후킹 차단디스플레이/윈도우 캡처로 우회Destiny 2·CS2 등은 게임 캡처 차단됨
참고: OBS 공식 KB에 따르면 일부 Windows 기능(Game DVR, Game Bar)은 후킹·인코더 자원과 충돌할 수 있습니다. 필요 시 설정 → 게임 → 캡처 항목에서 끄세요. Game Mode(1809+)는 일반적으로 켜두는 것을 권장합니다.

해결 단계

  1. OBS를 관리자 권한으로 실행
  2. 게임과 OBS 모두 동일 권한(둘 다 관리자 또는 일반)으로 실행
  3. 그래픽 설정에서 OBS와 게임을 동일 GPU로 지정
  4. 경로: 설정 → 시스템 → 디스플레이 → 그래픽 → 앱 추가/옵션 → 고성능(외장 GPU)

  5. OBS 게임 캡처 속성의 Capture Method(캡처 방식)Automatic → Windows 10 (1903 and up) → Windows 7 and up (Legacy) 순으로 교체 테스트
  6. 빈 화면이 나오면 즉시 다음 단계 방식으로 전환
  7. Discord·GeForce Experience·Xbox Game Bar 오버레이를 모두 비활성화
  8. DirectX 12 기반 게임은 DX11로 변경 후 재시도
  9. 안티치트 게임은 창 모드/보더리스 + Window Capture로 우회(디스플레이 캡처는 최후 수단)
  10. 그래픽 드라이버·OBS를 최신 버전으로 유지

사용자 환경별 참고

노트북은 하이브리드 GPU 구조로 인해 후킹 실패 빈도가 높습니다. 반면 데스크톱은 오버레이 충돌이 주된 원인입니다. 회사 PC에서는 보안 정책이 적용되어 디스플레이 캡처만 허용될 수도 있습니다.

예외 상황 및 대안

게임 캡처가 반복적으로 실패하면 디스플레이 캡처로 전환합니다. 이 모드는 CPU 부하가 다소 높지만 모든 창을 안정적으로 녹화할 수 있습니다. 모니터 주사율이 높다면 캡처 FPS를 모니터 주사율과 동일하거나 낮게 조정해 티어링을 방지합니다.

Destiny 2, Counter-Strike 2 등은 보안 정책상 Game Capture가 차단됩니다. 이 경우 창 모드/보더리스 + Window Capture를 우선 사용하고, 불가 시 디스플레이 캡처를 최후 수단으로 사용합니다.

중간 Q&A

OBS만 관리자 권한으로 실행해도 되나요?

게임과 OBS의 권한이 다르면 후킹 경로가 달라져 실패할 수 있습니다. 둘 다 관리자 권한 또는 둘 다 일반 권한으로 맞춥니다.

캡처 방식 중 어떤 순서로 테스트해야 하나요?

OBS 기본값(Automatic) → Windows 10 (1903 and up) → Windows 7 and up (Legacy) 순으로 바꿔가며 테스트합니다. 각 방식은 환경별로 호환 결과가 다릅니다.

DirectX 12 게임에서만 안 됩니다. 어떻게 해야 하나요?

DirectX 12 기반 게임은 OBS Game Capture와 호환되지 않을 수 있습니다. 가능하다면 게임 그래픽 옵션에서 DX11로 변경 후 재시도합니다.

WGC 사용 시 노란 테두리가 보여요. 녹화에도 나오나요?

Windows Graphics Capture 사용 시 화면 가장자리에 보이는 노란 테두리는 안내 표시일 뿐이며, 실제 녹화·송출 영상에는 포함되지 않습니다.

마무리 점검 리스트

  • 5단계 요약: 권한 통일 → 동일 GPU 지정 → 캡처 방식 전환 → 오버레이 해제 → DX11 전환
  • 빠른 해결 방법: “특정 윈도우 캡처”로 전환 후 대상 프로세스 고정
  • Game DVR·Game Bar 비활성화 후 재시도
  • Destiny 2·CS2는 창/보더리스 + Window Capture 권장(디스플레이 캡처는 최후 수단)
  • 드라이버 및 OBS 최신 버전 유지

FAQ

Game Bar와 OBS를 함께 사용해도 되나요?

동시 사용 시 후킹 충돌이 보고됩니다. Game Bar 녹화 기능을 끄고 OBS만 사용해 비교해 보세요.

디스플레이 캡처로 전환하면 성능이 떨어지나요?

일부 시스템에서 CPU 부하가 약간 증가합니다. 캡처 FPS를 낮추거나 해상도를 줄이면 안정됩니다.

참고 자료

OBS 공식 도움말 — Game Capture Troubleshooting

https://obsproject.com/help
OBS의 캡처 모드, WGC·Legacy 테스트 순서를 확인할 수 있습니다.

Microsoft 지원 — Windows 그래픽 및 게임 설정

https://support.microsoft.com/windows
앱별 GPU 지정, Game DVR·Game Bar 비활성화 등 시스템 설정 방법을 제공합니다.

댓글 쓰기

0 댓글