![]()
Abstract Experimental results on nine real-life datasets show that LTSF-Linear surprisingly outperforms existing sophisticated Transformer-based LTSF models in all cases, and often by a large margin. 연구 배경최근 Transformer 기반 solution들이 장기 시계열 예측(LTSF) task에서 성능 향상 입증본 논문은 이런 Transformer 기반 연구 방향의 타당성에 대한 의문 제기Transformer의 한계점Transformer는 긴 시퀀스에서 의미론적 상관관계를 추출하는 데 효과적But! 시계열 모델링에서는 연속적인 점들의 집합에서 시..
![]()
AbstractA new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Transformer 모델의 주요 특징전적으로 attention mechanism에 기반한 새로운 network architecture기존 모델들의 recurrence와 convolution layer를 완전히 대체실험 결과 및 성능두 가지 machine translation task에서 우수한 성능 입증높은 parallelization 능력기존 모델 대비 훨씬 짧은 training time 소요구체적인 성과WMT 2014 English..
