[카카오] LLM Research Engineer (신입/경력) 채용

[카카오] LLM Research Engineer (신입/경력) 채용

◆ 업무내용

추론 및 학습 효율을 높이기 위한 Large Language Model(LLM) 구조 탐색 및 최적화 (Mixture of Experts, Multi-head latent attention 등)

비용 효율적인 언어 모델 학습을 위한 알고리즘 연구 및 응용 (Pruning & Distillation, Hyperparameter transfer, Scaling law 등)

비용 효율화를 위한 학습 및 데이터 최적화 연구 (fp-8 training, dataset mixture search 등)

LLM 학습을 위한 대규모 데이터 수집, 생성 및 메타 정보 부착 기술 연구 및 개발 (Synthetic dataset generation, RegMix 등)

◆ 지원자격

CS∙AI∙ML 등 관련 전공 석사 이상 또는 이에 준하는 프로젝트 경험이 있는 분

Python 및 딥러닝 프레임워크를 능숙하게 활용할 수 있는 개발 역량을 가진 분

연구 및 개발에 대한 지속적인 관심이 있으며, 새로운 기술과 업무에 도전하는 자세를 가진 분

◆ 우대사항

LLM 관련 CUDA kernel 개발 경험이 있는 분

대규모 GPU/TPU 클러스터 환경에서 초거대 모델 학습 최적화 경험이 있는 분

Model parallel 관련 기술(Data/Model/Pipeline/Context/Expert Parallel 등) 연구 및 개발 경험이 있는 분

사전학습을 위한 페타바이트 수준의 텍스트 데이터 수집 및 분산 처리 경험이 있는 분

LLM 학습 데이터의 품질 향상과 평가를 위한 연구 및 개발 경험이 있는 분

CVPR, NeurIPS, ICLR, ICCV, ICML 등 AI 분야 최상위 학회 논문 발표 또는 공동 연구 경험이 있는 분

ACM ICPC 등 주요 프로그래밍 대회 수상 경력 또는 이에 준하는 알고리즘 문제 해결 역량을 보유한 분