Senior Data Engineer - LLM - South Korea Jobs Opening

October 21, 2024

Upstage

OTHER

Senior Data Engineer - LLM

업스테이지는 AI 기술을 활용하여 비즈니스 문제를 해결하는 데 주력하고 있습니다. “Making AI Beneficial” 이라는 비전과 “Artificial General Intelligence (AGI) for Work” 라는 미션을 바탕으로, 단순한 업무 자동화를 넘어서 복잡한 의사결정 지원 및 비용 절감을 통해 기업의 생산성을 증진시킬 수 있는 AI 솔루션 개발에 착수하고 있습니다. 이를 통해 우리는 업무 처리 방식을 혁신하고 기업들이 더욱 효율적으로 성장할 수 있도록 지원합니다.

업스테이지는 누구나 AI 기술의 혜택을 누릴 수 있도록 “적용이 쉬운 AI 솔루션“을 만들고 있습니다. 세계 최고 수준의 AI 모델을 다양한 분야에서 손쉽게 활용할 수 있는 API 시리즈를 출시하여 기업 고객들의 비즈니스 성공에 기여하고 있습니다. 또한 LLM 기술을 비즈니스 환경에 맞게 최적화해 기업들의 업무 효율과 생산성을 높일 수 있는 Private LLM 서비스를 제공하는 등 AI가 세상에 이롭게 쓰이게 하기 위해 노력하고 있습니다. 그 중에서 업스테이지 Document AI는 세계 최고 수준의 OCR 및 정보추출 기술력을 바탕으로 한 제품으로, AI를 통해 번거로운 문서 처리를 자동화하고 효율화하겠다는 목표를 가지고 있습니다.

데이터는 최근 LLM 개발의 전부라고 생각이 될 정도로 중요하게 판단되고 있습니다. 해당 직무는 좋은 데이터를 인수, 처리, 사용, 발전하는 데이터 리니지(data lineage)를 설계하고 그에 필요한 툴을 개발하는 업무를 수행하여 Upstage의 LLM 개발 사이클을 더 나은 방향으로 발전시킵니다. 현재 중요하게 생각되는 (1) 데이터 전처리 파이프라인, (2) 데이터 관리 시스템, (3) 휴먼 피드백 파이프라인 개발에 기여하여 발전을 시킬 수 있으며, 그 외에 더 큰 뷰에서 데이터 리니지를 개선, 확장하는 롤을 수행합니다.

Upstage의 LLM Data Team은 크게 Data Engineer, Data Curator, Human Annotation Manager로 구성이 되어 있으며, Solar의 데이터 리니지를 설계하고 개발하며, 이를 통하여 좋은 데이터를 인수, 개선을 수행합니다.

주요 업무

LLM 데이터 전처리 자동화 파이프라인 설계 및 개발
LLM 데이터 관리 시스템 설계 및 개발
Human Feedback Tool 설계 및 개발
데이터 획득, 제작, 개선을 위한 LLM Data Lineage 개발

근무 형태

정규직

모집 절차 - 전체 온라인으로 진행

서류 전형
알고리즘 코딩 테스트
딥러닝 코딩테스트
기술 인터뷰 (1차)
기술 인터뷰 (2차)
컬처 인터뷰
최종 인터뷰
최종 결과 발표

절차는 상황에 따라 조정될 수 있습니다.
최종 인터뷰 후, 레퍼런스 체크 절차가 진행될 수 있습니다.

근무환경

Anywhere On Earth But Together! ‘어디서든’ 함께 일할 수 있습니다.
원격 근무에 필요한 장비를 500만원 예산 내에 자유롭게 선택하실 수 있습니다.
근무를 위한 카페 이용 시 음료 비용, 스터디룸 혹은 공유오피스 이용 비용 등을 지원해드립니다.
업무 관련 소프트웨어, 도서, 자료, 교육수강비 등 성장에 필요한 비용을 지원해드립니다.
직장 단체보험 및 연 1회 종합건강검진을 지원해드립니다.

필수 사항

아래 3가지 요건 중 최소 1가지 충족
- supervised fine-tuning (SFT), Reinforcement Learning from Human Feedback (RLHF) 등에 대한 개념적 이해
- LLM 및 MLLM을 위한 사전 훈련 데이터의 최근 동향에 대한 이해
- 레이블이 지정된 데이터 구성(LLM용), 데이터 큐레이션 및 데이터 합성에 대한 경험
AI 기술에 대한 최소 7년 이상의 경험(M.S. 및 Ph.D 기간 포함)