In Machine Learning Systems Lab, we investigate programmability, scalability,  manageability, and performance of machine learning systems. We optimize the performance of existing machine learning systems such as Tensorflow, PyTorch, Megatron and vLLM, as well as big data systems such as Hadoop. We investigate various trade-offs (such as performance and accuracy) in existing systems. We also work on security aspect of machine learning models and systems. See Research Page for the list of the research topics.

Research Topics include  (연구 주제):

• Agentic AI System                                                          에이전트 AI 시스템 설계/최적화

• Large-Scale Machine Learning System             대규모 분산 머신러닝 시스템

• LLM Training/Inference Optimization              LLM  학습/추론 최적화

• ML Model Security/Testing                                     AI 모델 결함/편향성 탐지 및 개선

• Physical AI System                                                        Physical AI 시스템 설계/최적화

• Deep Learning Model Quantization                   딥러닝 모델 경량화/최적화

  자세한 내용은 Research Page 참고 LLM low bit quantization

아래는 우리 연구실에서 개발한 LLM 추론 최적화 기법(ASPLOS'24)을 설명한 동영상 입니다 (영어 발표를 한국어로 자동으로 번역하여 일부 부자연스러운 설명이 있음).