[PyTorch로 시작하는 강화학습 입문] 5편: Dueling DQN 구현으로 Q함수 구조 개선하기

DQN 계열 알고리즘의 핵심은 상태-행동 가치(Q-value)를 효과적으로 추정하는 것입니다. 지금까지의 네트워크는 상태를 입력받아 각 행동에 대한 Q값을 직접 출력하는 구조를 사용했습니다. 그러나 모든 행동에 대한 Q값을 별도로 추정하는 것은 비효율적일 수 있습니다. 상태 자체의 "가치(Value)"와, 그 상태에서 특정 행동을 선택함으로써 추가로 얻을 수 있는 "우위(Advantage)"를 분리하면, 공통적인 상태 가치를 학습하면서도 행동별 차이를 더 효율적으로 포착할 수 있습니다.Dueling DQN(Dueling Network Architecture for Deep Reinforcement Learning)에서는 Q(s,a)를 다음과 같이 분해합니다.Q(s,a) = V(s) + A(s,a) - 평..

• format_list_bulleted 개발 이야기/PyTorch (파이토치)
• · 2024. 12. 13.
• textsms

[모던 CMake] OpenCL 프로젝트 구성과 빌드

이번 글에서는 CMake를 사용하여 OpenCL 기반의 응용 프로그램을 구성하고 빌드하는 방법을 알아보겠습니다. OpenCL은 이기종 시스템에서 병렬 프로그래밍을 위한 프레임워크로, CPU, GPU, FPGA 등 다양한 디바이스에서 실행할 수 있는 코드를 작성할 수 있습니다. CMake를 활용하여 OpenCL 프로젝트를 효율적으로 관리하고 빌드 시스템에 통합하는 방법을 살펴보겠습니다.OpenCL과 CMake의 통합OpenCL 프로젝트를 CMake로 빌드하려면 OpenCL 헤더와 라이브러리를 설정하고, CMake에서 이를 올바르게 찾고 링크해야 합니다. OpenCL은 Khronos Group에서 표준을 정의하며, 각 하드웨어 제조사에서 구현체를 제공합니다.OpenCL 설치Intel CPU: Intel Op..

• format_list_bulleted 개발 이야기/CMake
• · 2024. 12. 13.
• textsms

[모던 CMake] Vulkan 프로젝트 구성과 빌드

이번 글에서는 CMake를 사용하여 Vulkan 기반의 그래픽스 응용 프로그램을 구성하고 빌드하는 방법을 알아보겠습니다. Vulkan은 차세대 그래픽 및 컴퓨팅 API로, 고성능과 낮은 오버헤드를 제공합니다. CMake를 활용하여 Vulkan 프로젝트를 효율적으로 관리하고 빌드 시스템에 통합하는 방법을 살펴보겠습니다.Vulkan과 CMake의 통합Vulkan 프로젝트를 CMake로 빌드하려면 Vulkan SDK와 라이브러리를 설정하고, CMake에서 이를 올바르게 찾고 링크해야 합니다. Vulkan은 플랫폼에 따라 설치 방법이 다를 수 있으므로, 개발 환경에 맞게 설정해야 합니다.Vulkan SDK 설치Windows: LunarG에서 제공하는 Vulkan SDK를 설치합니다.LunarG Vulkan SD..

• format_list_bulleted 개발 이야기/CMake
• · 2024. 12. 13.
• textsms

러스트 언어 입문 시리즈 - 7편: 에러 처리(Error Handling)와 Result 타입, Option 타입 비교하기

이전 글에서는 러스트의 트레이트(Trait)와 제네릭(Generic) 개념을 통해 추상화와 다형성을 어떻게 안전하고 명확하게 달성하는지 살펴보았습니다. 이번에는 러스트에서 에러를 처리하는 방식을 알아봅시다. C++에서 예외(Exceptions)를 던지고 try/catch로 받는 패턴에 익숙하다면, 러스트가 보여주는 접근 방식은 다소 낯설게 느껴질 수 있습니다. 러스트는 기본적으로 예외(throw)와 catch 블록이 없습니다. 대신 함수의 반환값을 통해 에러 상황을 명시적으로 처리하는 Result 타입, 값이 존재하지 않을 수도 있음을 표현하는 Option 타입, 그리고 프로그램이 더 이상 진행할 수 없는 치명적 상황에서 사용하는 panic! 매크로로 구성된 에러 처리 철학을 가지고 있습니다.런타임 예외..

• format_list_bulleted 개발 이야기/Rust (러스트)
• · 2024. 12. 12.
• textsms

Python 3.13의 새로운 기능 소개: 이전 버전과의 비교

Python 3.13은 2024년 10월에 출시된 최신 버전으로, 이전 버전들에 비해 상당한 개선과 새로운 기능을 제공합니다. 이번 글에서는 주요 변경사항들을 이전 버전과 비교하며 상세히 살펴보고, 각 기능에 대한 자세한 예제를 통해 이해를 돕겠습니다.1. 새로운 인터랙티브 인터프리터 (REPL)이전 버전 (Python 3.12 이하)단일 라인 편집만 가능제한된 색상 지원명령어 실행 시 괄호 필요 (예: exit(), help())Python 3.13의 개선사항멀티라인 편집 지원향상된 컬러 출력간소화된 명령어 (예: exit, help)예제: 새로운 REPL 기능 활용# Python 3.13 REPL>>> def greet(name):... return f"Hello, {name}!"...>>> ..

• format_list_bulleted 개발 이야기/Python (파이썬)
• · 2024. 12. 12.
• textsms

[PyTorch로 시작하는 강화학습 입문] 4편: DQN 개선하기 – Double DQN 구현 및 추가 변형 소개

이전 글에서 DQN을 구현해 CartPole 환경을 학습시켜보았습니다. DQN은 간단하고 효과적이지만, 여전히 다음과 같은 문제가 남아 있습니다.Q값의 과추정(Overestimation): DQN은 최대 Q값을 직접 사용하기 때문에, 노이즈나 학습 초기 불안정으로 인해 실제보다 높은 Q값을 선택하는 경향이 있습니다. 이로 인해 정책이 왜곡될 수 있습니다.데이터 효율성과 안정성 문제: 경험 리플레이를 사용하지만, 모든 transition이 동일한 확률로 샘플링됩니다. 또, Q값 계산 시 행동에 따른 Q분포를 좀 더 효율적으로 학습할 수 있는 구조적 개선도 가능할 것입니다.이러한 문제를 완화하기 위해 다양한 DQN 변형 알고리즘이 제안되었습니다. 그중 대표적인 두 가지를 소개하겠습니다.Double DQN (..

• format_list_bulleted 개발 이야기/PyTorch (파이토치)
• · 2024. 12. 12.
• textsms

[CUDA & Modern C++로 GPU 프로그래밍 시작하기] #8: 디버깅과 성능 프로파일링 기초

지금까지 우리는 CUDA 프로그래밍 기초부터 시작해 Host-Device 메모리 관리, 스레드/블록/그리드 개념, 비동기 스트림, 메모리 계층(Shared/Constant) 최적화 기법, 그리고 CMake와 Modern C++를 활용한 빌드 환경 개선까지 쭉 달려왔습니다. 이제 어느 정도 기본기가 갖추어졌다면, 실제 GPU 코드가 의도대로 동작하고 있는지 확인하고, 혹시 병목현상이 일어나지는 않는지 점검하는 단계가 필요합니다. 이번 글에서는 디버깅(Debugging)과 성능 프로파일링(Performance Profiling) 방법을 간단히 살펴볼 겁니다. 한 번에 모든 툴과 기법을 다루긴 어렵지만, 대표적인 도구와 기본적인 절차를 익혀두면 앞으로 문제 해결에 큰 도움이 됩니다.GPU 디버깅 기본 아이디어..

• format_list_bulleted 개발 이야기/CUDA
• · 2024. 12. 12.
• textsms

[모던 CMake] 재사용 가능한 라이브러리를 위한 CMake 패키지 구성

이번 글에서는 모던 CMake를 활용하여 재사용 가능한 라이브러리를 패키지화하고, 다른 프로젝트에서 손쉽게 사용할 수 있도록 설정하는 방법을 알아보겠습니다. CMake의 패키지 관리 기능을 통해 라이브러리를 배포하고, find_package()를 이용하여 의존성을 간편하게 관리할 수 있습니다. 이 과정을 통해 프로젝트의 확장성과 유지보수성을 크게 향상시킬 수 있습니다.CMake 패키지 구성의 필요성재사용 가능한 라이브러리를 패키지화하면 다음과 같은 이점을 얻을 수 있습니다:의존성 관리의 단순화: find_package()를 통해 필요한 라이브러리를 손쉽게 찾고 링크할 수 있습니다.버전 관리: 특정 버전의 라이브러리를 요구하고, 호환성을 보장할 수 있습니다.배포의 용이성: 라이브러리를 다른 개발자나 프로젝..

• format_list_bulleted 개발 이야기/CMake
• · 2024. 12. 12.
• textsms

[OpenCL 입문 시리즈 6편] 간단한 이미지 처리 예제: 그레이스케일 변환하기

안녕하세요! 지난 글에서는 C++20/23 문법과 OpenCL C++ Wrapper를 활용해 OpenCL 코드를 훨씬 깔끔하게 만드는 방법을 살펴봤습니다. 이번 글에서는 실제로 유용할 수 있는 간단한 이미지 처리 예제를 통해 OpenCL의 이미지 기능을 체험해보려 합니다. 기본적인 버퍼 연산만 다뤘던 것에서 한 단계 나아가, GPU 가속을 활용한 이미지 변환(예: 컬러 이미지를 그레이스케일로 변환)을 시도해보죠.이번 글에서는 다음 내용을 다룹니다.이미지 객체를 사용한 데이터 처리호스트 측에서 이미지 로딩(예: stb_image 사용)OpenCL 커널에서 read_imagef, write_imagef 함수 활용결과 확인을 위한 이미지 저장CUDA와 비교: CUDA 텍스처/서피스와 유사한 개념1. 준비사항이..

• format_list_bulleted 개발 이야기/OpenCL
• · 2024. 12. 12.
• textsms

[C++23 새기능 소개] std::ranges::sample

C++23에서는 범위(Range) 라이브러리에 풍부한 알고리즘들이 추가되어, 데이터 처리 시 다양한 시나리오를 표준화된 방식으로 해결할 수 있게 되었습니다. 그중 하나인 std::ranges::sample 알고리즘은 범위에서 무작위로 일부 원소를 추출하여 샘플링할 수 있도록 하는 기능을 제공합니다. 이를 통해 무작위 데이터 선정, 표본 추출 등의 작업을 표준 라이브러리 알고리즘만으로 간편히 구현할 수 있습니다.이번 글에서는 std::ranges::sample의 개념과 사용법, 그리고 이전 방식과 비교하여 어떠한 개선점을 제공하는지 알아보겠습니다. std::ranges::sample란 무엇인가요?std::ranges::sample(rng, out, n, gen)는 범위 rng에서 원소를 n개 무작위로 선택..

• format_list_bulleted 개발 이야기/C++
• · 2024. 12. 12.
• textsms