Ide di balik Aktor-Kritikus dan bagaimana A2C dan A3C meningkatkannya

Sudah waktunya untuk Pembelajaran Penguatan. Kali ini topik utama kita adalah algoritma Aktor-Kritik, yang merupakan dasar di balik hampir setiap metode RL modern mulai dari Proximal Policy Optimization hingga A3C. Jadi, untuk memahami semua teknik baru tersebut, Anda harus memahami dengan baik apa itu Aktor-Kritikus dan cara kerjanya.

Tapi jangan terburu-buru. Mari kita refresh sejenak pengetahuan kita sebelumnya. Seperti yang Anda ketahui, ada dua tipe utama metode RL yang ada:

• Berbasis Nilai: Mereka mencoba menemukan atau memperkirakan yang optimal nilai fungsi, yang merupakan pemetaan antara tindakan dan nilai. Semakin tinggi nilainya, semakin baik tindakannya. Algoritme yang paling terkenal adalah pembelajaran Q dan semua peningkatannya seperti Deep Q Networks, Double Dueling Q Networks, dll

• Berbasis Kebijakan: Algoritme Berbasis Kebijakan seperti Gradien Kebijakan dan REINFORCE mencoba menemukan kebijakan optimal secara langsung tanpa nilai Q sebagai perantara.

Setiap metode memiliki kelebihannya masing-masing. Misalnya, berbasis kebijakan lebih baik untuk lingkungan yang berkelanjutan dan stokastik, memiliki konvergensi yang lebih cepat, sedangkan berbasis Nilai lebih efisien dan stabil dalam pengambilan sampel. Periksa posting saya sebelumnya tentang pembelajaran Penguatan untuk lebih jelasnya.

Ketika kedua keluarga algoritmik tersebut terbentuk dalam komunitas ilmiah, langkah nyata berikutnya adalah… mencoba menggabungkan keduanya. Dan dari sinilah Aktor-Kritikus dilahirkan. Aktor-Kritik bertujuan untuk memanfaatkan semua hal baik baik yang berbasis nilai maupun berbasis kebijakan sambil menghilangkan semua kelemahannya. Dan bagaimana mereka melakukan hal ini?

Ide utamanya adalah membagi model menjadi dua: satu untuk menghitung tindakan berdasarkan keadaan dan satu lagi untuk menghasilkan nilai Q dari tindakan tersebut.

Aktor mengambil keadaan sebagai masukan dan menghasilkan tindakan terbaik. Ini pada dasarnya mengontrol bagaimana agen berperilaku mempelajari kebijakan yang optimal
(berbasis kebijakan). Kritikus, di sisi lain, mengevaluasi tindakan dengan menghitung fungsi nilai (berbasis nilai). Kedua model tersebut berpartisipasi dalam permainan di mana mereka berdua menjadi lebih baik dalam perannya masing-masing seiring berjalannya waktu. Hasilnya adalah arsitektur secara keseluruhan akan belajar memainkan game dengan lebih efisien dibandingkan kedua metode secara terpisah.

Gagasan untuk membuat dua model berinteraksi (atau bersaing) satu sama lain semakin populer di bidang pembelajaran mesin dalam beberapa tahun terakhir. Pikirkan Jaringan Adversarial Generatif atau Autoencoder Variasional misalnya.

Tapi mari kita kembali ke Pembelajaran Penguatan. Sebuah analogi yang baik tentang aktor-kritikus adalah seorang anak laki-laki dengan ibunya. Anak (aktor) senantiasa mencoba hal-hal baru dan mengeksplorasi lingkungan disekitarnya. Dia makan mainannya sendiri, dia menyentuh oven yang panas, dia membenturkan kepalanya ke dinding (maksudku kenapa tidak). Ibunya (sang kritikus) memperhatikannya dan mengkritik atau memujinya. Anak mendengarkan apa yang dikatakan ibunya dan menyesuaikan perilakunya. Saat anak bertumbuh, dia belajar tindakan mana yang baik dan buruk, dan pada dasarnya dia belajar memainkan permainan yang disebut kehidupan. Begitulah cara kerja aktor-kritikus.

Aktor dapat menjadi penaksir fungsi seperti jaringan saraf dan tugasnya adalah menghasilkan tindakan terbaik untuk keadaan tertentu. Tentu saja, ini bisa berupa jaringan saraf yang terhubung sepenuhnya atau jaringan konvolusional atau apa pun. Kritikus adalah aproksimator fungsi lain, yang menerima masukan lingkungan dan tindakan aktor, menggabungkannya dan mengeluarkan nilai tindakan (nilai-Q) untuk pasangan tertentu. Izinkan saya mengingatkan Anda sejenak bahwa nilai Q pada dasarnya adalah imbalan maksimum di masa depan.

Pelatihan kedua jaringan dilakukan secara terpisah dan menggunakan pendakian gradien (untuk menemukan maksimum global dan bukan minimum) untuk memperbarui bobot kedua jaringan tersebut. Seiring berjalannya waktu, aktor belajar untuk menghasilkan tindakan yang lebih baik dan lebih baik (dia mulai mempelajari kebijakan) dan kritikus menjadi semakin baik dalam mengevaluasi tindakan tersebut. Penting untuk diperhatikan bahwa pembaruan bobot terjadi pada setiap langkah (Pembelajaran TD) dan bukan pada akhir episode, berlawanan dengan gradien kebijakan.

Kritikus aktor terbukti mampu mempelajari lingkungan yang besar dan kompleks dan mereka telah menggunakannya di banyak game 2d dan 3d terkenal, seperti Doom, Super Mario, dan lainnya.

Apakah kamu lelah? Karena saya sekarang mulai bersemangat dan saya berencana untuk terus maju. Ini adalah kesempatan yang sangat bagus untuk membicarakan dua peningkatan yang sangat populer pada model Aktor-kritikus, A2C dan A3C.

Keuntungan Aktor-Kritikus (A2C)

Apa itu Keuntungan? Faktanya, nilai Q dapat diuraikan menjadi dua bagian: fungsi Nilai keadaan V(s) dan nilai keuntungan A(s, a):

Fungsi keunggulan menangkap seberapa baik suatu tindakan dibandingkan dengan tindakan lain pada keadaan tertentu, sedangkan seperti yang kita ketahui, fungsi nilai menangkap seberapa baik tindakan tersebut berada pada keadaan ini.

Anda menebak ke mana arahnya, bukan? Daripada membuat kritikus mempelajari nilai-nilai Q, kita membuat dia mempelajari nilai-nilai Keunggulan. Dengan begitu evaluasi suatu tindakan tidak hanya didasarkan pada seberapa baik tindakan tersebut, namun juga seberapa baik tindakan tersebut. Keuntungan dari fungsi keunggulan (lihat apa yang saya lakukan di sini?) adalah mengurangi tingginya varians jaringan kebijakan dan menstabilkan model.

Aktor-Kritikus Keuntungan Asinkron (A3C)

A3C dirilis oleh DeepMind pada tahun 2016 dan membuat gebrakan di komunitas ilmiah. Kesederhanaan, ketahanan, kecepatan, dan pencapaian skor yang lebih tinggi dalam tugas RL standar membuat gradien kebijakan dan DQN menjadi usang. Perbedaan utama dari A2C adalah bagian Asynchronous. A3C terdiri dari beberapa agen independen(jaringan) dengan bobotnya sendiri, yang berinteraksi dengan salinan lingkungan berbeda secara paralel. Dengan demikian, mereka dapat menjelajahi lebih banyak ruang tindakan negara dalam waktu yang jauh lebih singkat.

Pandangan Brandom-ian tentang Pembelajaran Penguatan menuju AI yang kuat

Agen (atau pekerja) dilatih secara paralel dan memperbarui jaringan global secara berkala, yang menyimpan parameter bersama. Pembaruan tidak terjadi secara bersamaan dan dari sanalah asal mula asinkron. Setelah setiap pembaruan, agen menyetel ulang parameternya ke parameter jaringan global dan melanjutkan eksplorasi dan pelatihan independen selama n langkah hingga mereka memperbarui dirinya lagi.

Kita melihat bahwa informasi mengalir tidak hanya dari agen ke jaringan global tetapi juga antar agen karena masing-masing agen mengatur ulang bobotnya melalui jaringan global, yang memiliki informasi dari semua agen lainnya. Cerdas bukan?

Kembali ke A2C

Kelemahan utama asynchrony adalah beberapa agen akan bermain-main dengan parameter versi lama. Tentu saja, pembaruan mungkin tidak terjadi secara asinkron tetapi pada waktu yang bersamaan. Dalam hal ini, kami memiliki versi A2C yang ditingkatkan dengan beberapa agen, bukan hanya satu. A2C akan menunggu semua agen menyelesaikan segmennya dan kemudian memperbarui bobot jaringan global dan mengatur ulang semua agen.

Tetapi. Selalu ada tapi. Beberapa orang berpendapat bahwa tidak perlu memiliki banyak agen jika mereka sinkron, karena pada dasarnya mereka tidak berbeda sama sekali. Dan saya setuju. Faktanya, apa yang kami lakukan adalah mencipta beberapa versi lingkungan dan hanya dua jaringan.

Jaringan pertama (biasanya disebut sebagai model langkah) berinteraksi dengan semua lingkungan selama n langkah waktu secara paralel dan menghasilkan sejumlah pengalaman. Dengan pengalaman tersebut, kami melatih jaringan kedua (model kereta) dan memperbarui model langkah dengan bobot baru. Dan kami ulangi prosesnya.

Jika Anda bingung dengan perbedaan A2C dan A3C, lihat postingan Reddit ini

freecodecamp.org

Saya mencoba memberi Anda penjelasan intuitif di balik semua teknik ini tanpa menggunakan banyak matematika dan kode, karena segalanya akan menjadi lebih rumit. Namun, model tersebut bukanlah model yang sulit untuk diterapkan karena mengandalkan ide yang sama seperti Gradien Kebijakan dan Jaringan Deep Q. Jika Anda ingin membangun model aktor-kritikus Anda sendiri yang memainkan Doom, periksa ini. Dan saya pikir Anda harus melakukannya. Hanya dengan membangunnya sendiri, kita dapat benar-benar memahami semua aspek, trik, dan manfaat model tersebut.

Ngomong-ngomong, saya menggunakan kesempatan ini untuk menyebutkan perpustakaan bersumber terbuka baru-baru ini oleh Deepmind yang disebut trfl. Ini memperlihatkan beberapa blok bangunan yang berguna untuk mengimplementasikan agen Reinforcement Learning, seperti yang mereka klaim. Saya akan mencoba dan kembali kepada Anda untuk lebih jelasnya.

Juga jika Anda perlu mendalami Kritikus Aktor lebih dalam, saya sangat menyarankan AI Tingkat Lanjut: Kursus Pembelajaran Penguatan Mendalam dengan Python di Udemy. Dan bagi mereka yang ingin mengetahui implementasi terkini dan variasinya, AI Mutakhir: Pembelajaran Penguatan Mendalam dengan Python memiliki materi tambahan yang sangat baik.

Gagasan untuk menggabungkan kebijakan dan metode berbasis nilai kini, pada tahun 2018, dianggap sebagai standar untuk memecahkan masalah pembelajaran penguatan. Kebanyakan algoritma modern mengandalkan aktor-kritikus dan memperluas ide dasar ini menjadi teknik yang lebih canggih dan kompleks. Beberapa contohnya adalah: Deep Definistic Policy Gradients (DDPG), Proximal Policy Optimization (PPO), Trust Region Policy Optimization (TRPO).

Tapi jangan menjadi tidak sabar. Kami akan membahasnya tepat waktu…

* Pengungkapan: Harap dicatat bahwa beberapa tautan di atas mungkin merupakan tautan afiliasi, dan tanpa biaya tambahan kepada Anda, kami akan mendapat komisi jika Anda memutuskan untuk melakukan pembelian setelah mengklik.