[LibTorch 입문] 1편: PyTorch와 LibTorch 소개, 그리고 목표 설정

안녕하세요! LibTorch 입문 시리즈에 오신 것을 환영합니다.

이 시리즈에서는 머신러닝과 딥러닝에 널리 사용되는 PyTorch를 C++ 환경에서 다루는 방법을 차근차근 알려드리려 합니다. 많은 분들이 Python 환경에서 PyTorch를 사용하며 텐서(Tensor) 연산, 모델 훈련, 추론 등을 손쉽게 경험하셨을 텐데요, 여기서 한 발 더 나아가 C++ 환경에서도 PyTorch 기능을 활용한다면 무엇이 가능할까요? 또한, C++로 작성한 성능 높은 코드를 Python에서 투명하게 사용한다면 어떨까요?

이 시리즈의 최종 목표는 C++로 작성된 수치 연산 및 딥러닝 로직을 PyTorch의 C++ 라이브러리(LibTorch) 로 활용하고, 여기에 pybind11을 이용하여 Python 환경에서도 동일한 로직을 무리 없이 호출할 수 있는 구조를 만드는 것입니다. 즉,

• C++ 코드에서 PyTorch 텐서를 사용하고,
• Python에서 학습한 모델을 C++로 로드하여 추론하며,
• pybind11을 통해 이 모든 기능을 Python에서도 손쉽게 이용할 수 있는,
  "C++와 Python을 유연하게 오가는" 프로젝트를 구축하는 것이 궁극적인 목표입니다.

앞으로 진행할 여정에서 CMake 기반의 빌드 시스템 설정부터 시작해, 텐서 다루기, 모델 추론, 그리고 pybind11 바인딩까지 순서대로 다룰 예정이니, 딥러닝에 관심있는 C++ 개발자나 C++ 성능에 관심있는 Python 개발자 모두 도움이 되길 바랍니다.

PyTorch란 무엇일까?

PyTorch는 Meta(구 Facebook)에서 개발한 머신러닝/딥러닝 프레임워크로, TensorFlow와 더불어 딥러닝 분야를 선도하는 도구입니다. Python 인터페이스를 제공하여 다음과 같은 일들을 쉽게 할 수 있습니다.

• 텐서 연산: GPU 혹은 CPU에서 고성능으로 행렬 및 텐서 연산을 처리
• 자동 미분(Autograd): 복잡한 신경망 연산도 자동으로 기울기(gradient)를 계산
• 직관적 API: 파이썬스러운 코딩 스타일로 모델을 자유롭게 정의하고 훈련
• 풍부한 에코시스템: 다양한 데이터셋, 전이학습 모델, 커뮤니티 튜토리얼 및 지원

이로 인해 연구자나 개발자가 빠르게 프로토타이핑하고, 실제 서비스에 적용하기까지 널리 활용되고 있습니다.

LibTorch란?

LibTorch는 PyTorch의 C++ 배포판으로, Python을 배제한 순수 C++ 환경에서 PyTorch 기능을 사용할 수 있도록 합니다. 즉, PyTorch가 Python에 의존하지 않고도 C++ 애플리케이션 안에서 텐서 연산과 모델 추론 등을 수행할 수 있게 해줍니다.

LibTorch 사용 시 얻을 수 있는 이점은 다음과 같습니다.

1. 기존 C++ 코드와의 자연스러운 통합:
   예를 들어, 고성능 시뮬레이션 엔진이나 그래픽 엔진이 C++로 돌아가고 있다면, 여기서 바로 텐서 연산과 모델 추론을 수행할 수 있습니다.
2. 성능 최적화:
   Python보다는 C++에서 더 세밀하고 효율적인 메모리 관리나 최적화 기법을 적용하기 쉬운 경우가 많습니다. 시간을 단축하거나 메모리를 절약하는데 유리합니다.
3. Python 환경 독립:
   제품 배포 시 Python 러ntime 설정, 종속 라이브러리 관리가 번거로울 수 있습니다. 이럴 때 C++ 실행 파일만 전달하는 것이 운영상 편리합니다.

물론 Python에서 제공하는 편의성을 포기하기는 아쉬울 수 있습니다. 그래서 pybind11을 통해, C++로 구현한 기능을 다시 Python으로 손쉽게 노출할 수 있습니다. 이때 불필요한 오버헤드 없이 빠르게 동작하게 할 수 있습니다.

왜 C++와 Python을 함께 사용할까?

"Python만 써도 되지 않나?"라고 궁금할 수 있습니다. 그러나 다음과 같은 이유에서 C++와 Python의 결합은 매우 유용합니다.

• 성능과 편의성의 양립:
  C++는 고성능 코드 작성에 유리하고, Python은 신속한 개발과 풍부한 생태계가 강점입니다. 둘 다의 장점을 취해보세요.
• 다양한 워크플로우 지원:
  연구나 프로토타이핑 단계에서는 Python이 편리하고 빠릅니다. 하지만 배포나 실시간 처리 단계에서는 C++로 옮겨가는 것이 자연스럽습니다. 이때 동일한 로직을 양쪽에서 재사용할 수 있다면 효율이 극대화됩니다.
• 기존 자산 활용:
  만약 이미 C++로 작성된 수치 계산 코드나 시뮬레이션 모델이 있다면, 이 위에 딥러닝 기능을 결합해보는 것은 어떨까요? Python용 프레임워크를 위한 별도의 Wrapping 없이, libTorch + pybind11을 통해 한 번에 해결할 수 있습니다.

이 시리즈의 최종 목표

이 시리즈를 모두 따라가시면 다음과 같은 결과를 얻을 수 있습니다.

• C++ 프로젝트에서 LibTorch 사용법을 익히고, 텐서 연산 및 모델 추론(트레이스된 PyTorch 모델) 수행 방법을 배웁니다.
• pybind11을 활용해 C++로 작성한 코드를 Python에서 호출할 수 있게 만드는 과정을 이해하고, 이로써 Python 스크립트 안에서 C++ 로직을 사용할 수 있게 됩니다.
• 하나의 공통된 C++ 로직을 C++ 애플리케이션과 Python 스크립트에서 공유함으로써, 개발 환경과 배포 환경을 유연하게 오가는 파이프라인을 구축합니다.

쉽게 말해, C++의 성능과 Python의 생산성을 모두 누리며, 딥러닝 모델 추론 기능을 양쪽 환경에서 자연스럽게 활용하는 것이 이 시리즈의 장기적 목표입니다.

앞으로 다룰 내용

이후 글에서는 다음과 같은 순서로 진행됩니다.

• 2편: LibTorch 다운로드 및 환경 설정, CMake를 통한 기본 프로젝트 구성 방법을 자세히 설명합니다.
  • LibTorch 바이너리 패키지 다운받기
  • CMakeLists.txt로 LibTorch 연결하기
  • 단순히 "Hello LibTorch" 하는 예제 코드 작성
• 3편: C++에서 텐서를 생성하고 연산하는 기초를 다룹니다.
  • Tensor 생성 및 기본 수학 연산
  • GPU 사용을 위한 장치(device) 설정
  • 작은 예제 코드로 텐서 연산 실습
• 4편: Python에서 학습한 모델을 C++로 로딩하고 추론해보는 방법을 안내합니다.
  • Python에서 모델 Trace하기(TorchScript)
  • C++에서 모델 로딩 및 추론 예제
• 5편: pybind11의 기초를 소개하고, C++ 함수를 Python에서 호출하는 방법을 보여줍니다.
  • pybind11 설치 및 기본 예제
  • 간단한 C++ 함수 Python 바인딩 실습
• 6편: C++ 텐서를 Python 텐서로 넘겨주고, Python 텐서를 C++로 받아오는 과정을 예제로 구현합니다.
  • C++/Python 양방향 텐서 교환 실습
• 7편: 간단한 추론 파이프라인을 C++와 Python에서 모두 실행해보며 동일한 코드 기반으로 양쪽 환경을 활용하는 실제 예시를 만들어봅니다.
  • 동일한 모델 추론 코드 C++와 Python에서 테스트
  • 성능 비교 및 확장 가능성 탐색
• 8편: 전체 구조를 정리하고, 더 나아갈 수 있는 주제(고급 최적화, CUDA 커스터마이징, 배포 전략 등)에 대한 아이디어를 제안하며 시리즈를 마무리합니다.

참고 자료

• PyTorch 공식 홈페이지: https://pytorch.org/
• LibTorch 공식 문서: https://pytorch.org/cppdocs/
• pybind11 공식 문서: https://pybind11.readthedocs.io/
• PyTorch 공식 YouTube 채널: https://www.youtube.com/c/PyTorch