Selamat datang di perjalanan lain menuju mengungkap rahasia di balik Reinforcement Learning. Kali ini, kami akan mengambil langkah mundur dan kembali ke optimalisasi kebijakan untuk memperkenalkan dua metode baru: optimalisasi kebijakan wilayah kepercayaan (TRPO) dan optimalisasi kebijakan proksimal (PPO). Ingatlah bahwa dalam teknik gradien kebijakan, kami mencoba mengoptimalkan fungsi tujuan kebijakan (imbalan akumulatif yang diharapkan) menggunakan penurunan gradien. Gradien kebijakan sangat bagus untuk ruang yang luas dan berkelanjutan, namun memiliki beberapa masalah.
-
Varians tinggi (yang kami atasi dengan model Aktor-kritikus)
-
Masalah imbalan yang tertunda
-
Contoh inefisiensi
-
Kecepatan pembelajaran sangat mempengaruhi pelatihan
Terutama yang terakhir telah menyusahkan para peneliti untuk waktu yang cukup lama, karena sangat sulit menemukan kecepatan pemelajaran yang cocok untuk keseluruhan proses optimasi. Kecepatan pembelajaran yang kecil dapat menyebabkan hilangnya gradien, sedangkan kecepatan pembelajaran yang besar dapat menyebabkan ledakan gradien. Secara umum kita memerlukan suatu cara untuk mengubah kebijakan tersebut tidak terlalu banyak namun juga tidak terlalu sedikit bahkan lebih baik lagi agar selalu memperbaiki kebijakan kita. Salah satu makalah mendasar dalam arah ini adalah:
Pengoptimalan kebijakan wilayah kepercayaan (TRPO)
Untuk memastikan bahwa kebijakan tersebut tidak akan bergerak terlalu jauh, kami menambahkan batasan pada masalah pengoptimalan kami dalam hal memastikan bahwa kebijakan yang diperbarui berada dalam wilayah kepercayaan. Wilayah kepercayaan didefinisikan sebagai wilayah yang perkiraan fungsi lokalnya akurat. Oke, tapi apa maksudnya? Di wilayah kepercayaan, kami menentukan ukuran langkah maksimum dan kemudian kami menemukan kebijakan maksimum lokal di wilayah tersebut. Dengan melanjutkan proses yang sama secara berulang, kami menemukan nilai maksimum global. Kita juga dapat memperluas atau memperkecil wilayah berdasarkan seberapa baik perkiraan baru tersebut. Dengan demikian, kami yakin bahwa kebijakan-kebijakan baru ini dapat dipercaya karena tidak menyebabkan degradasi kebijakan yang sangat buruk. Kita dapat menyatakan secara matematis batasan di atas menggunakan divergensi KL (yang dapat Anda anggap sebagai jarak antara dua distribusi probabilitas):
Divergensi KL antara kebijakan baru dan kebijakan lama harus lebih rendah dari delta (δ), dimana delta adalah luas wilayah. Saya bisa mempelajari matematika, tapi menurut saya ini hanya akan memperumit masalah, bukan memperjelasnya. Jadi intinya, kita hanya punya a masalah optimasi terbatas.
Pertanyaannya sekarang adalah bagaimana kita memecahkan masalah optimasi yang terbatas? Menggunakan metode Gradien Konjugasi. Tentu saja, kita dapat menyelesaikan masalah ini secara analitis (penurunan gradien alami), tetapi hal ini tidak efektif secara komputasi. Jika Anda menambah pengetahuan Anda tentang matematika numerik, Anda mungkin ingat bahwa metode gradien konjugasi memberikan solusi numerik untuk sistem persamaan. Itu jauh lebih baik dari perspektif komputasi. Jadi yang harus kita lakukan adalah memperkirakan fungsi tujuan secara linier dan kendala secara kuadrat, lalu biarkan gradien konjugasinya bekerja.
Untuk menyelesaikan semuanya, algoritme memiliki langkah-langkah berikut:
-
Kami menjalankan serangkaian lintasan dan mengumpulkan kebijakan
-
Perkirakan keuntungan menggunakan algoritma estimasi keuntungan
-
Selesaikan masalah optimasi terbatas menggunakan gradien konjugasi
-
Mengulang
Secara umum, wilayah kepercayaan dianggap sebagai metode standar untuk mengatasi masalah pengoptimalan. Bagian tersulitnya adalah menerapkannya dalam konteks pembelajaran penguatan (reinforcement learning) dengan cara yang memberikan keuntungan dibandingkan gradien kebijakan yang sederhana.
Meskipun TRPO adalah algoritme yang sangat kuat, TRPO mempunyai masalah yang signifikan: batasan yang sangat besar, yang menambah overhead tambahan pada masalah pengoptimalan kami. Maksud saya, hal ini memaksa kita untuk menggunakan metode gradien konjugasi dan membingungkan kita dengan perkiraan linier dan kuadrat. Bukankah lebih baik jika kita dapat memasukkan batasan tersebut secara langsung ke dalam tujuan pengoptimalan kita? Seperti yang mungkin sudah Anda duga, itulah yang dilakukan optimasi kebijakan Proksimal.
Optimalisasi kebijakan proksimal (PPO)
Ide sederhana ini memberi kami algoritma yang lebih sederhana dan intuitif daripada TRPO. Dan ternyata teknik ini sering kali mengungguli teknik-teknik yang sudah ada. Jadi, alih-alih menambahkan batasan secara terpisah, kita memasukkannya ke dalam fungsi tujuan sebagai penalti (kita mengurangkan divergensi KL dikalikan konstanta C dari fungsi tersebut).
Segera setelah kita melakukannya, kita tidak perlu menyelesaikan masalah yang dibatasi dan sebagai gantinya kita dapat menggunakan penurunan gradien stokastik sederhana pada fungsi di atas. Dan algoritmanya diubah sebagai berikut:
-
Kami menjalankan serangkaian lintasan dan mengumpulkan kebijakan
-
Perkirakan keuntungan menggunakan algoritma estimasi keuntungan
-
Melakukan penurunan gradien stokastik pada fungsi tujuan untuk sejumlah periode tertentu
-
Mengulang
Peringatan kecilnya adalah sulitnya memilih koefisien C sedemikian rupa sehingga berfungsi dengan baik selama keseluruhan proses pengoptimalan. Untuk mengatasinya kami memperbarui koefisien berdasarkan seberapa besar atau kecil divergensi KL. Kalau KL terlalu tinggi kita naikkan, atau kalau terlalu rendah kita turunkan.
Jadi ini dia? Inikah optimasi kebijakan proksimal yang terkenal? Sebenarnya tidak. Maaf tentang itu. Ternyata fungsi yang dijelaskan di atas tidak sama dengan kertas aslinya. Penulis menemukan cara untuk meningkatkan versi yang diberi sanksi ini menjadi fungsi objektif baru yang lebih kuat.
Hei hei tunggu. Apa yang terjadi di sini? Sebenarnya tidak banyak. Biar saya jelaskan. Satu hal yang sengaja saya tinggalkan sejauh ini adalah sebagian kecil dari probabilitas di sana, yang tampaknya juga muncul di TRPO. Nah, itu yang disebut dengan sampling kepentingan. Kami pada dasarnya memiliki kebijakan baru yang ingin kami perkirakan dan kebijakan lama yang kami gunakan untuk mengumpulkan sampel. Dengan pengambilan sampel pentingkita dapat mengevaluasi kebijakan baru dengan sampel dari kebijakan lama dan meningkatkan efisiensi sampel. Rasio tersebut menyimpulkan betapa berbedanya kedua kebijakan tersebut dan kami menyatakannya sebagai r(theta).
Dengan menggunakan rasio ini, kita dapat membuat fungsi tujuan baru potong perkiraan keuntungan jika kebijakan baru jauh dari kebijakan lama. Dan itulah yang dilakukan persamaan di atas. Jika suatu tindakan lebih mungkin terjadi berdasarkan kebijakan baru dibandingkan kebijakan lama, kami tidak ingin memperbarui tindakan secara berlebihan, jadi kami memotong fungsi tujuan. Jika kemungkinannya lebih kecil dalam kebijakan baru dibandingkan dengan kebijakan lama, tindakan obyektif akan dilakukan untuk mencegah pembaruan yang berlebihan sekali lagi.
Mungkin hanya saya, tapi saya rasa saya belum menemukan algoritma pembelajaran penguatan yang lebih sederhana dan lebih bersih dalam beberapa waktu terakhir.
Jika Anda ingin masuk ke dalam lubang kelinci, lihat kode dasar dari OpenAI, yang akan memberi Anda gambaran yang jelas tentang keseluruhan algoritma dan menyelesaikan semua pertanyaan Anda. Tentu saja, akan jauh lebih baik jika Anda mencoba menerapkannya sendiri dari awal. Ini bukan tugas termudah, tapi mengapa tidak.
Juga untuk Kursus Pembelajaran Penguatan Mendalam yang lengkap dan lengkap, AI Tingkat Lanjut: Kursus Pembelajaran Penguatan Mendalam dengan Python dari Udemy dan penerusnya AI Mutakhir: Pembelajaran Penguatan Mendalam dengan Python adalah yang terbaik di pasar.
Saya pikir itu saja untuk saat ini. Terus belajar…
* Pengungkapan: Harap dicatat bahwa beberapa tautan di atas mungkin merupakan tautan afiliasi, dan tanpa biaya tambahan kepada Anda, kami akan mendapat komisi jika Anda memutuskan untuk melakukan pembelian setelah mengklik.
ADVERTISEMENT:
SEGERA, dengan sama program slot gaco adalah slots selalu? memberi win, Yup jatuh mesin-mesin disebut sebagai ini. jagoannya buat mesin bawa yang come back cuan. any way. cemana,
tekniknya ini bisa nemuin slot gaco benar Tenang Bro and Sis bahas santai saja, di tempat ini sih Game terpercaya waktu yang ini? hanya satu di, kita hanya di akan menyediakan ROI
terbesar Daftar dengan memberikan ROI terbaik Indonesia Daftarkanlah dengan return terbaik Daftarkanlah
hanya {hanya|dengan} di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
lembagatoto88 permainan paling top dan garansi imbal balik hasil besar bersama lembagatoto88.com
lumbung888 permainan paling top dan garansi imbal balik hasil besar bersama lumbung888.biz
anadototo88 permainan paling top dan garansi imbal balik hasil besar bersama anadototo88.org
mataramtoto88 permainan paling top dan garansi imbal balik hasil besar bersama mataramtoto88.com
mawartoto88 permainan paling top dan garansi imbal balik hasil besar bersama mawartoto88.biz
maxim88 permainan paling top dan garansi imbal balik hasil besar bersama maxim88.org
mpovegas88 permainan paling top dan garansi imbal balik hasil besar bersama mpovegas88.com
nagacc88 permainan paling top dan garansi imbal balik hasil besar bersama nagacc88.com
neng88 permainan paling top dan garansi imbal balik hasil besar bersama neng88.biz
nibung888 permainan paling top dan garansi imbal balik hasil besar bersama nibung888.biz
paristogel88 permainan paling top dan garansi imbal balik hasil besar bersama paristogel88.info
ribut88 permainan paling top dan garansi imbal balik hasil besar bersama ribut88.net
sebat777 permainan paling top dan garansi imbal balik hasil besar bersama sebat777.info
sebat88 permainan paling top dan garansi imbal balik hasil besar bersama sebat88.info
singa88 permainan paling top dan garansi imbal balik hasil besar bersama singa88.biz
texas888 permainan paling top dan garansi imbal balik hasil besar bersama texas888.asia
vertu777 permainan paling top dan garansi imbal balik hasil besar bersama vertu777.org
wks88 permainan paling top dan garansi imbal balik hasil besar bersama wks88.org
wortel88 permainan paling top dan garansi imbal balik hasil besar bersama wortel88.net
yabos888 permainan paling top dan garansi imbal balik hasil besar bersama yabos888.net
yoktogel88 permainan paling top dan garansi imbal balik hasil besar bersama yoktogel88.asia
agam88 permainan paling top dan garansi imbal balik hasil besar bersama agam88.asia
bangkittoto permainan paling top dan garansi imbal balik hasil besar bersama bangkittoto.net
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.com
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.info
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.net
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.org
belanjatoto permainan paling top dan garansi imbal balik hasil besar bersama belanjatoto.org
bisnis88 permainan paling top dan garansi imbal balik hasil besar bersama bisnis88.biz
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.com
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.info
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.net
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.org
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.com
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.info
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.net
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.org
cendanatoto88 permainan paling top dan garansi imbal balik hasil besar bersama cendanatoto88.com
cupang88 permainan paling top dan garansi imbal balik hasil besar bersama cupang88.biz
cupangjp88 permainan paling top dan garansi imbal balik hasil besar bersama cupangjp88.com
danatoto88 permainan paling top dan garansi imbal balik hasil besar bersama danatoto88.biz
danatoto88slot permainan paling top dan garansi imbal balik hasil besar bersama danatoto88slot.net
davo888 permainan paling top dan garansi imbal balik hasil besar bersama davo888.biz
dewasurga888 permainan paling top dan garansi imbal balik hasil besar bersama dewasurga888.biz
dhx88 permainan paling top dan garansi imbal balik hasil besar bersama dhx88.biz
dingdongtogel88 permainan paling top dan garansi imbal balik hasil besar bersama dingdongtogel88.biz
egp888 permainan paling top dan garansi imbal balik hasil besar bersama egp888.biz
eropa88 permainan paling top dan garansi imbal balik hasil besar bersama eropa88.biz
forwin777 permainan paling top dan garansi imbal balik hasil besar bersama forwin777.biz
forwin88 permainan paling top dan garansi imbal balik hasil besar bersama forwin88.net
gacor222 permainan paling top dan garansi imbal balik hasil besar bersama gacor222.biz
galaxy777 permainan paling top dan garansi imbal balik hasil besar bersama galaxy777.asia
garuda88 permainan paling top dan garansi imbal balik hasil besar bersama garuda88.biz
gaul88 permainan paling top dan garansi imbal balik hasil besar bersama gaul88.biz
glowin888 permainan paling top dan garansi imbal balik hasil besar bersama glowin888.biz
gopay88 permainan paling top dan garansi imbal balik hasil besar bersama gopay88.biz
harum88 permainan paling top dan garansi imbal balik hasil besar bersama harum88.biz
harumtoto permainan paling top dan garansi imbal balik hasil besar bersama harumtoto.net
hiu88 permainan paling top dan garansi imbal balik hasil besar bersama hiu88.biz
hiutoto permainan paling top dan garansi imbal balik hasil besar bersama hiutoto.biz
hoki117 permainan paling top dan garansi imbal balik hasil besar bersama hoki117.net
ibetslot88 permainan paling top dan garansi imbal balik hasil besar bersama ibetslot88.biz
idhoki888 permainan paling top dan garansi imbal balik hasil besar bersama idhoki888.com
indosport999 permainan paling top dan garansi imbal balik hasil besar bersama indosport999.net
jackpot10 permainan paling top dan garansi imbal balik hasil besar bersama jackpot10.net
jago77 permainan paling top dan garansi imbal balik hasil besar bersama jago77.biz
jet88 permainan paling top dan garansi imbal balik hasil besar bersama jet88.biz
jinbei88 permainan paling top dan garansi imbal balik hasil besar bersama jinbei88.biz
juliet88 permainan paling top dan garansi imbal balik hasil besar bersama juliet88.org
kakekslot88 permainan paling top dan garansi imbal balik hasil besar bersama kakekslot88.asia
kenzo118 permainan paling top dan garansi imbal balik hasil besar bersama kenzo118.biz
kiw88 permainan paling top dan garansi imbal balik hasil besar bersama kiw88.biz
lazada88 permainan paling top dan garansi imbal balik hasil besar bersama lazada88.biz
mangga2bet88 permainan paling top dan garansi imbal balik hasil besar bersama mangga2bet88.com
mental88 permainan paling top dan garansi imbal balik hasil besar bersama mental88.org
nenektogel88 permainan paling top dan garansi imbal balik hasil besar bersama nenektogel88.com
obc88 permainan paling top dan garansi imbal balik hasil besar bersama obc88.net
parsel88 permainan paling top dan garansi imbal balik hasil besar bersama parsel88.com
pasar88 permainan paling top dan garansi imbal balik hasil besar bersama pasar88.biz
pilar100 permainan paling top dan garansi imbal balik hasil besar bersama pilar100.net
power88 permainan paling top dan garansi imbal balik hasil besar bersama power88.biz
pragmatic7777 permainan paling top dan garansi imbal balik hasil besar bersama pragmatic7777.com
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.com
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.info
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.net
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.org
premantoto88 permainan paling top dan garansi imbal balik hasil besar bersama premantoto88.com
pucuk88 permainan paling top dan garansi imbal balik hasil besar bersama pucuk88.biz
pucuktoto permainan paling top dan garansi imbal balik hasil besar bersama pucuktoto.biz
pusat88 permainan paling top dan garansi imbal balik hasil besar bersama pusat88.biz
raja228 permainan paling top dan garansi imbal balik hasil besar bersama raja228.biz
rajabandot88 permainan paling top dan garansi imbal balik hasil besar bersama rajabandot88.biz
rajapanen88 permainan paling top dan garansi imbal balik hasil besar bersama rajapanen88.net
rogtoto88 permainan paling top dan garansi imbal balik hasil besar bersama rogtoto88.net
sdtoto88 permainan paling top dan garansi imbal balik hasil besar bersama sdtoto88.biz
semangat88 permainan paling top dan garansi imbal balik hasil besar bersama semangat88.biz
sensasi555 permainan paling top dan garansi imbal balik hasil besar bersama sensasi555.net
sensasi88 permainan paling top dan garansi imbal balik hasil besar bersama sensasi88.biz
simenang88slot permainan paling top dan garansi imbal balik hasil besar bersama simenang88slot.com
slotter999 permainan paling top dan garansi imbal balik hasil besar bersama slotter999.net
slottoto88 permainan paling top dan garansi imbal balik hasil besar bersama slottoto88.org