Welcome to Machine Learning Systems Lab
In Machine Learning Systems Lab, we investigate programmability, scalability, manageability, and performance of machine learning systems. We optimize the performance of existing machine learning systems such as Tensorflow, PyTorch, Megatron and vLLM, as well as big data systems such as Hadoop. We investigate various trade-offs (such as performance and accuracy) in existing systems. We also work on security aspect of machine learning models and systems. See Research Page for the list of the research topics.
Research Topics include (연구 주제):
Large-Scale Machine Learning System 대규모 분산 머신러닝 시스템
LLM Training/Inference Optimization LLM 학습/추론 최적화
Deep Learning Model Security/Testing 딥러닝 모델 결함/편향성 탐지 및 개선
Deep Learning Model Quantization 딥러닝 모델 경량화/최적화
Graph Processing Systems 그래프 분석 시스템
자세한 내용은 Research Page 참고
News:
NEW: 연구실이 서울대학교 (전기공학부/ECE, 인공지능 대학원/IPAI) 으로 이전하였습니다. 연구실 진학에 관심있는 학생들은 ECE와 IPAI로 지원해 주세요.
NEW: 서지원 교수가 2024-26기간동안 VLDB 학회의 커미티로 활동합니다. VLDB는 데이터베이스 및 데이터 프로세싱 시스템 분야의 최우수 학회입니다.
초거대 언어모델 (LLM)의 실행을 최적화 하는 논문이 컴퓨터 시스템 분야 최우수 학회인 ASPLOS에 Accept 되었습니다. 논문 제목은 'ExeGPT: Constraint-Aware Resource Scheduling for LLM Inference' 입니다. FasterTransformer 대비 최대 10배 이상의 Throughput 향상을 보였습니다. 축하합니다!
서지원 교수가 한/중/일 연구재단 주관 Northeast Asia Research Symposium (데이터 엔지니어링 기술 분야)에 한국을 대표하는 연구자중 한명으로 초청받아 그래프 분석 시스템 연구 내용을 발표하였습니다.
아래는 우리 연구실에서 개발한 LLM 추론 최적화 기법(ASPLOS'24)을 설명한 동영상 입니다 (영어 발표를 한국어로 자동으로 번역하여 일부 부자연스러운 설명이 있음).