| llm

LLM Review Part1

July 10, 2024, 11:55 a.m.
LLM 모델의 연구흐름을 리뷰한다. Part1은 GPT 에 집중

GPT 연구 흐름에 집중한다.

[IJCNLP'21] Prefix-Tuning: Optimizing Continuous Prompts for Generation

Aug. 23, 2024, 3:35 p.m.
Stanford 에서 발표한 PEFT 기법중 soft prompt로 분류되는 방법

LLM에서 많이 사용되는 P-tuning, Prefix-tuning, Prompt-…

[SIGIR'24] PO4ISR: Large Language Models for Intent-Driven Session Recommendations

Oct. 28, 2024, 6:41 p.m.
LLM으로 SR 에서 prompt-tuning을 통해 Intention을 파악해 성능을 높히는 architecture(ISR)를 제안한 논문

발표 영상은 다음과 같음. 싱가폴의 A* 연구기관에서 발표.

[SIGIR'24] SeRALM:Enhancing Sequential Recommenders with Augmented Knowledge from Aligned Large Language Model

Oct. 29, 2024, 6:31 p.m.
LLM를 recommendation task에 맞춰 align 시켜 성능 향상을 이끈 논문

[Arxiv'24] Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Efficient

Dec. 24, 2024, 2:21 p.m.
최근 발표된 ModernBERT 로 불리우는 방법을 제안한 논문

BERT 는 근래 LLM 의 발전으로 transformer 의 decoder 모델인…

RL기반 LLM Alignment tuning 방법론 중 하나인 DPO Loss 유도과정을 이해

March 17, 2025, 6:45 p.m.
DPO는 별도 보상모델 없이 정책모델의 확률분포 자체로 인간의 선호를 직접 학습