AI Umum

TimesFM: Model Peramalan Tunggal yang Dilatih Sebelumnya pada Kumpulan Data Waktu yang Besar Terdiri dari 100 Miliar Titik Waktu Dunia Nyata

Pendahuluan

Peramalan deret waktu merupakan tugas penting dalam pembelajaran mesin dan sering digunakan dalam berbagai domain seperti keuangan, manufaktur, layanan kesehatan, dan ilmu alam. Para peneliti dari Google memperkenalkan model khusus dekoder untuk tugas tersebut, yang disebut TimeFM, berdasarkan pelatihan awal model perhatian gaya dekoder yang ditambal pada kumpulan data deret waktu yang besar yang terdiri dari kumpulan data dunia nyata dan sintetis.

Data Deret Waktu

Data deret waktu, yang dikumpulkan secara berkala dari waktu ke waktu, memainkan peran penting dalam memprediksi nilai masa depan. Metode tradisional seperti ARIMA dan GARCH telah banyak digunakan. Kemajuan terbaru dalam pembelajaran mendalam, khususnya dalam model bahasa besar (LLM) untuk Pemrosesan Bahasa Alami (NLP), telah membuka cara baru bagi para peneliti untuk menangani peramalan deret waktu dengan menerapkan model ini pada tugas tersebut.

Model Pembelajaran Mendalam untuk Peramalan Deret Waktu

Model pembelajaran mendalam yang ada seperti DeepAR, Konvolusi Temporal, dan NBEATS populer untuk peramalan deret waktu, mengungguli metode statistik tradisional. Baru-baru ini ada penelitian tentang penggunaan kembali atau penyetelan halus model bahasa besar (LLM) seperti GPT-3 dan LLaMA-2 untuk peramalan deret waktu.

Arsitektur TimesFM

Arsitektur TimesFM melibatkan transformator bertumpuk dengan mekanisme perhatian gaya dekoder yang ditambal yang terinspirasi oleh pemodelan berbasis tambalan yang berhasil dalam peramalan cakrawala panjang. Model yang diusulkan menggunakan pelatihan khusus dekoder, yang memungkinkan model untuk memprediksi masa depan dengan melihat berbagai jumlah tambalan masukan secara paralel.

Data untuk Pelatihan

Data untuk pelatihan mencakup data dunia nyata dan sintetis. Data dunia nyata diambil dari berbagai sumber seperti Google Trends dan Wiki Pageviews, sedangkan data sintetis dihasilkan dari model statistik seperti ARIMA.

Hasil Eksperimen

Eksperimen menunjukkan bahwa TimesFM mencapai kinerja peramalan tanpa penglihatan yang mengesankan. Tidak hanya kinerja model yang mengesankan, tetapi juga lebih efisien daripada model yang ada dalam ukuran parameter dan data pelatihan awal. Model ini dievaluasi pada kumpulan data publik dari Darts, Monash, dan Informer, yang menunjukkan kemampuannya untuk menggeneralisasi dan mengungguli garis dasar khusus.

Kesimpulan

Dilatih pada kumpulan data sintetis dan dunia nyata yang luas, TimesFM adalah model dasar deret waktu yang inovatif. Arsitektur unik model, yang mencakup mekanisme perhatian dekoder yang ditambal dan pelatihan khusus dekoder, berkontribusi pada kinerja peramalan tanpa penglihatan yang kuat. Kemampuan TimesFM untuk mengungguli garis dasar di berbagai kumpulan data menunjukkan potensi model besar yang dilatih sebelumnya untuk peramalan deret waktu, menyediakan jalan yang menjanjikan untuk mengurangi data pelatihan dan persyaratan komputasi di bidang ini.