러스트로 만드는 수학 및 과학 계산 라이브러리 시리즈 - 8편: GPU 가속, 병렬 처리, 대규모 연산 최적화

지금까지의 시리즈를 통해 우리는 러스트로 선형대수, FFT, ODE/PDE 솔버, FEM 기초까지 다양한 수학/과학 계산 기법을 구현하는 방법을 탐구했습니다. 그러나 실제 산업 현장이나 대규모 연구 환경에서는 성능이 절대적으로 중요하며, CPU 기반 단일 스레드 연산으로는 한계에 부딪히기 쉽습니다. 이번 글에서는 GPU 가속, 병렬 처리(Parallelization), 그리고 대규모 연산 최적화를 통한 성능 향상 전략에 대해 살펴보겠습니다. 다루게 될 주제:병렬화(Parallelization): Rayon 등 러스트 생태계의 스레드 풀 라이브러리를 사용해 CPU 다중 코어 활용SIMD 활용: std::arch, packed_simd(또는 std::simd(unstable))를 통한 벡터화(Vectoriz..

• format_list_bulleted 개발 이야기/Rust (러스트)
• · 2025. 1. 1.
• textsms

[Ray RLlib로 강화학습 쉽게 사용하기] 6편: 멀티프로세싱과 분산 학습 설정하기

대규모 강화학습 실험에서는 단일 프로세스나 단일 머신에서 모든 환경과 데이터를 처리하기 어렵습니다. RLlib은 Ray의 강력한 분산 및 멀티프로세싱 기능을 바탕으로, 쉽게 Worker를 늘리고 클러스터로 확장하여 더 많은 데이터를 병렬로 수집하고 처리할 수 있습니다.이번 글에서는 다음 내용을 다룹니다.멀티프로세싱 지원: num_rollout_workers와 num_envs_per_worker 설정으로 병렬 환경 처리클러스터 모드: Ray 클러스터 구성으로 다중 노드 환경에서 RLlib 실행GPU/CPU 리소스 할당: .resources()를 통해 GPU 사용, 다중 GPU 설정대규모 실험 파이프라인: 대량의 환경, 알고리즘 조합 테스트를 위한 전략멀티프로세싱: Worker 수와 Env per Worke..

• format_list_bulleted 개발 이야기/PyTorch (파이토치)
• · 2024. 12. 24.
• textsms

[SYCL 입문 #1] SYCL 소개 및 개발 환경 준비, Hello SYCL 예제

SYCL 입문 시리즈의 첫 번째 글입니다. 이번 글에서는 SYCL이란 무엇이며, 왜 SYCL을 사용할 때 NVIDIA GPU나 Qualcomm GPU에서도 동일한 코드를 실행할 수 있는지 기본 개념을 소개합니다. 또한 개발 환경 설정, CMake 빌드 시스템 활용, 그리고 가장 기본적인 “Hello SYCL!” 예제를 통해, 독자가 실제로 코드를 컴파일하고 실행해보는 과정을 안내하겠습니다.이 글은 SYCL에 완전히 처음 입문하는 독자를 대상으로 하며, 모든 단계에 대해 가능한 한 자세히 설명하여, 글을 따라만 해도 실제 코드를 실행할 수 있도록 하였습니다.왜 SYCL인가?SYCL은 Khronos 그룹에서 정의한, C++ 기반의 이식성 높은 병렬 프로그래밍 모델입니다. CUDA는 NVIDIA GPU 전용이..

• format_list_bulleted 개발 이야기/SYCL (시클)
• · 2024. 12. 19.
• textsms

[OpenCL 입문 시리즈 10편] 마무리 및 향후 학습 방향

안녕하세요! 드디어 10편에 이르렀네요. 지난 글들에서 OpenCL 입문 과정을 하나씩 밟아나가며, 개발 환경 설정부터 간단한 예제, 이미지 처리, 성능 최적화, 디버깅과 프로파일링, 그리고 멀티 디바이스 활용까지 두루 살펴보았습니다. 이제는 전체 흐름을 정리하고, 앞으로 어떤 식으로 공부를 이어나갈 수 있을지 몇 가지 제안을 드리며 시리즈를 마무리하려 합니다.이번 글에서는 다음 내용을 다룹니다.지금까지 다룬 핵심 포인트 정리추가로 살펴볼만한 OpenCL 관련 주제들CUDA, SYCL, Vulkan Compute 등 다른 기술과의 비교 연구 방향커뮤니티, 문서, 온라인 강좌 등 자원 활용 팁1. 지금까지 다룬 핵심 포인트앞선 9개의 글에서 다룬 주요 내용을 간략히 정리해볼게요.개발환경 준비 & Hello..

• format_list_bulleted 개발 이야기/OpenCL
• · 2024. 12. 16.
• textsms

[OpenCL 입문 시리즈 9편] 다중 디바이스 활용: 한 시스템 내 다양한 하드웨어 자원 사용하기

안녕하세요! 지난 글에서는 디버깅과 프로파일링 기초를 다루며 OpenCL 프로그램을 더 안정적이고 효율적으로 다루는 방법을 살펴봤어요. 이제 거의 시리즈의 끝이 보이는데요. 이번 글에서는 한 시스템 내 여러 디바이스(여러 개의 GPU, CPU, 또는 이종 디바이스)를 동시에 활용하는 방법을 간략히 살펴볼 겁니다.CUDA는 보통 하나의 GPU를 다루는 경우가 많지만, OpenCL은 다양한 벤더, 다양한 하드웨어를 동시에 활용할 수 있는 아키텍처적 장점이 있어요. 예를 들어, 한 PC에 NVIDIA GPU와 Intel GPU, 그리고 CPU 디바이스까지 있을 때, 이들을 모두 활용해 연산을 나누어 처리할 수도 있습니다. 이번 글에서는 다음 내용을 다룹니다.여러 디바이스 선택 방법멀티 디바이스 컨텍스트(Con..

• format_list_bulleted 개발 이야기/OpenCL
• · 2024. 12. 15.
• textsms

[OpenCL 입문 시리즈 8편] 디버깅 & 프로파일링 기초: 문제 상황 파악과 성능 병목 진단하기

안녕하세요! 지난 글에서 성능 최적화 기초를 다루며 워크그룹 크기 조정, 메모리 접근 패턴 개선, 프로파일링의 중요성을 언급했습니다. 이번 글에서는 한 단계 더 나아가, OpenCL 프로그램을 디버깅하고 성능을 자세히 프로파일링하는 기본적인 방법을 살펴보려 합니다.디버깅과 프로파일링은 생각보다 중요한 영역입니다. 코드가 잘 동작한다고 생각했는데 결과가 이상하거나, 성능이 기대 이하일 수 있어요. 이때 단순히 코드를 쳐다보고 있는 것보다, 디버깅 툴이나 프로파일링 툴을 활용하는 것이 훨씬 효율적입니다.이번 글에서는 다음 내용을 다룹니다.디버깅 기초: 커널 실행 문제 파악, 에러 코드 확인프로파일링 툴 소개: 이벤트(event) 기반 타이밍, Nsight, Intel VTune 등호스트-디바이스 간 데이터 ..

• format_list_bulleted 개발 이야기/OpenCL
• · 2024. 12. 14.
• textsms

[CUDA & Modern C++로 GPU 프로그래밍 시작하기] #10: 마무리 및 다음 단계로의 길잡이

이제 10개의 글에 걸친 “CUDA & Modern C++로 GPU 프로그래밍 시작하기” 시리즈를 마칠 시점입니다. 첫 글에서는 단순히 “Hello, GPU!”를 출력하는 예제부터 시작했지만, 이제는 Host-Device 메모리 관리, 스레드/블록/그리드 개념, 비동기 스트림, 메모리 계층(Shared/Constant), CMake 기반의 현대적 빌드, Modern C++ 기능 적용, 디버깅 및 프로파일링까지 다양한 주제를 맛보았습니다. 마지막으로 이 시리즈를 정리하며, 앞으로 여러분이 확장해나갈 수 있는 주제들을 안내하겠습니다.시리즈 정리환경 설정 & Hello GPU!: CUDA 개발환경(드라이버, 툴킷) 세팅 및 간단한 출력 예제를 통해 기본 틀을 잡았습니다.Host vs Device 코드 구조 이..

• format_list_bulleted 개발 이야기/CUDA
• · 2024. 12. 14.
• textsms

[OpenCL 입문 시리즈 7편] 성능 최적화 맛보기: 워크그룹, 메모리 접근 패턴, 프로파일링 기초

안녕하세요! 지난 글에서는 OpenCL을 활용한 이미지 처리 예제를 다루며, 실제로 GPU 가속의 이점을 경험해봤습니다. 이제부터는 좀 더 깊은 주제로 들어가, 성능 최적화(Performance Optimization)에 대한 기본 개념을 살펴보려 해요. 입문자 수준에서 모든 최적화를 다루기는 어렵지만, 워크그룹(work-group) 설정, 메모리 접근 패턴 개선, 그리고 프로파일링(profiling) 도구 활용으로 성능을 개선할 수 있는 아이디어를 얻을 수 있습니다.이번 글에서는 다음 내용을 다룹니다.워크아이템(work-item), 워크그룹(work-group) 개념과 성능 관계메모리 계층(global, local, private memory)과 접근 패턴 최적화프로파일링을 통한 병목 지점 확인CUDA..

• format_list_bulleted 개발 이야기/OpenCL
• · 2024. 12. 13.
• textsms

[CUDA & Modern C++로 GPU 프로그래밍 시작하기] #9: 실전 예제로 종합 정리하기

이제 여기까지 왔습니다! 우리가 지금까지 다룬 내용을 바탕으로, 간단한 실전 예제를 통해 모든 개념을 종합해볼 시간입니다. 이번 글에서는 이미지 처리 예제를 선택하겠습니다. 이유는 다음과 같습니다:2D 데이터 처리(블록/스레드 2D 설정) 개념 확립Shared Memory나 Constant Memory를 활용해볼 수 있는 기회비동기 스트림으로 데이터 전송과 연산 오버랩 시도Modern C++ 빌드 및 언어 기능을 통한 코드 가독성 개선디버깅 및 프로파일링 연습“간단한 이미지 필터” 예제를 통해 실제 GPU 코드가 어떻게 구조화되고, 이전에 배운 개념들이 어떻게 융합되는지 살펴보겠습니다.실전 예제 개요: 간단한 블러(Blur) 필터 적용하기우리가 구현할 내용은 다음과 같습니다.Host에서 이미지를 로딩 (..

• format_list_bulleted 개발 이야기/CUDA
• · 2024. 12. 13.
• textsms

[CUDA & Modern C++로 GPU 프로그래밍 시작하기] #8: 디버깅과 성능 프로파일링 기초

지금까지 우리는 CUDA 프로그래밍 기초부터 시작해 Host-Device 메모리 관리, 스레드/블록/그리드 개념, 비동기 스트림, 메모리 계층(Shared/Constant) 최적화 기법, 그리고 CMake와 Modern C++를 활용한 빌드 환경 개선까지 쭉 달려왔습니다. 이제 어느 정도 기본기가 갖추어졌다면, 실제 GPU 코드가 의도대로 동작하고 있는지 확인하고, 혹시 병목현상이 일어나지는 않는지 점검하는 단계가 필요합니다. 이번 글에서는 디버깅(Debugging)과 성능 프로파일링(Performance Profiling) 방법을 간단히 살펴볼 겁니다. 한 번에 모든 툴과 기법을 다루긴 어렵지만, 대표적인 도구와 기본적인 절차를 익혀두면 앞으로 문제 해결에 큰 도움이 됩니다.GPU 디버깅 기본 아이디어..

• format_list_bulleted 개발 이야기/CUDA
• · 2024. 12. 12.
• textsms