Bot yang memainkan Dota2, AI yang mengalahkan pemain Go terbaik di dunia, komputer yang unggul di Doom. Apa yang terjadi? Adakah alasan mengapa komunitas AI begitu sibuk bermain game? Petunjuk: ini adalah Pembelajaran Penguatan.
Biarkan saya bicara seperti itu. Jika Anda ingin robot belajar berjalan, apa yang Anda lakukan? Anda membuatnya, memprogramnya, dan merilisnya di jalanan New York? Tentu saja tidak. Anda membuat simulasi, permainan, dan menggunakan ruang virtual tersebut untuk mengajarinya cara bergerak di sekitarnya. Tanpa biaya, tanpa risiko. Itu sebabnya permainan sangat berguna dalam bidang penelitian. Tapi bagaimana cara mengajarinya berjalan? Jawabannya adalah topik artikel hari ini dan mungkin merupakan bidang Machine learning yang paling menarik pada saat itu.
Anda mungkin tahu bahwa ada dua jenis pembelajaran mesin. Diawasi dan tidak diawasi. Nah, ada yang ketiga, namanya Reinforcement Learning. RL bisa dibilang merupakan area ML yang paling sulit untuk dipahami karena ada begitu banyak hal yang terjadi pada saat yang bersamaan. Saya akan mencoba menyederhanakan sebanyak yang saya bisa karena ini adalah bidang yang sangat menakjubkan dan Anda pasti mengetahuinya. Tapi izinkan saya memperingatkan Anda. Ini melibatkan pemikiran kompleks dan fokus 100% untuk memahaminya. Dan beberapa matematika. Jadi, tarik napas dalam-dalam dan mari selami:
Proses Keputusan Markov
Pembelajaran penguatan adalah proses coba-coba di mana AI (agen) melakukan sejumlah tindakan dalam sebuah lingkungan. Setiap momen unik yang dimiliki agen a negara dan bertindak dari keadaan tertentu ke keadaan baru. Tindakan khusus ini mungkin tidak memiliki efek a hadiah. Oleh karena itu, kita dapat mengatakan bahwa setiap masa pembelajaran (atau sebuah episode) dapat direpresentasikan sebagai rangkaian keadaan, tindakan, dan penghargaan. Setiap keadaan hanya bergantung pada keadaan dan tindakan sebelumnya dan karena lingkungan pada dasarnya bersifat stokastik (kita tidak mengetahui keadaan berikutnya), proses ini memenuhi properti Markov. Properti Markov mengatakan bahwa distribusi probabilitas bersyarat dari keadaan proses di masa depan hanya bergantung pada keadaan saat ini, bukan pada urutan kejadian yang mendahuluinya. Keseluruhan proses ini disebut sebagai Proses Keputusan Markov.
https://www.mdpi.com/
Mari kita lihat contoh nyata penggunaan Super Mario. Dalam hal ini:
-
Agennya tentu saja adalah Mario tercinta
-
State adalah keadaan saat ini (misalkan frame layar kita)
-
Tindakannya adalah: gerakan ke kiri, ke kanan, dan melompat
-
Lingkungan adalah dunia maya di setiap tingkatan;
-
Dan imbalannya adalah apakah Mario masih hidup atau sudah mati.
Oke, kami telah mendefinisikan masalahnya dengan benar. Apa selanjutnya? Kami membutuhkan solusi. Namun pertama-tama, kita memerlukan cara untuk mengevaluasi seberapa baik solusi tersebut?
Apa yang saya katakan adalah hadiah di setiap episode saja tidak cukup. Bayangkan sebuah permainan Mario dimana Mario dikendalikan oleh seorang agen. Dia terus-menerus menerima hadiah positif di seluruh level sebelum bendera terakhir, dia dibunuh oleh satu Hammer Bro (saya benci orang-orang itu). Anda lihat bahwa setiap hadiah individu tidak cukup bagi kami untuk memenangkan permainan. Kami membutuhkan hadiah yang mencakup keseluruhan level. Di sinilah istilahnya diskon imbalan kumulatif yang diharapkan ikut bermain.
Ini tidak lebih dari jumlah semua hadiah yang didiskontokan oleh faktor gamma, dimana gamma termasuk dalam (0,1). Diskon ini penting karena imbalannya cenderung jauh lebih signifikan di awal dibandingkan di akhir. Dan itu sangat masuk akal.
Langkah selanjutnya adalah menyelesaikan masalah tersebut. Untuk melakukan hal tersebut, kami mendefinisikan bahwa tujuan dari tugas pembelajaran adalah: Agen perlu mempelajari tindakan mana yang harus dilakukan dari keadaan tertentu yang memaksimalkan imbalan kumulatif dari waktu ke waktu. Atau untuk mempelajarinya Kebijakan π: S->A. Kebijakan hanyalah pemetaan antara suatu negara dengan suatu tindakan.
Untuk menjumlahkan semua hal di atas, kami menggunakan persamaan berikut:
di mana V (Nilai) adalah mengharapkan imbalan jangka panjang yang dicapai oleh suatu kebijakan (Ï€) dari suatu negara bagian.
Kamu masih bersamaku? Jika ya, mari kita jeda selama 5 detik karena ini agak berlebihan:
1…2…3…4…5
Sekarang setelah kita mendapatkan kembali kejernihan mental, mari kita rekap. Kami memiliki definisi masalah sebagai Proses Keputusan Markov dan kami memiliki tujuan untuk mempelajari Kebijakan terbaik atau Nilai terbaik. Bagaimana kita melanjutkannya?
Kami membutuhkan algoritma (Terima kasih, Sherlock…)
Ada banyak sekali algoritma RL yang dikembangkan selama bertahun-tahun. Setiap algoritma berfokus pada hal yang berbeda, apakah itu memaksimalkan nilai atau kebijakan atau keduanya. Apakah akan menggunakan model (misalnya jaringan saraf) untuk mensimulasikan lingkungan atau tidak. Apakah itu akan mendapatkan imbalan di setiap langkah atau di akhir. Seperti yang Anda duga, tidak mudah untuk mengkategorikan semua algoritma tersebut ke dalam kelas, tapi itulah yang akan saya lakukan.
Seperti yang Anda lihat, kami dapat mengklasifikasikan algoritme RL dalam dua kategori besar: Berbasis model dan Bebas Model:
Berbasis model
Algoritme ini bertujuan untuk mempelajari cara kerja lingkungan (dinamikanya) dari pengamatannya dan kemudian merencanakan solusi menggunakan model tersebut. Ketika mereka mempunyai model, mereka menggunakan beberapa metode perencanaan untuk menemukan kebijakan terbaik. Mereka dikenal efisien dalam hal data, tetapi gagal jika ruang negara terlalu besar. Cobalah untuk membangun algoritma berbasis model untuk memainkan Go. Tidak akan terjadi.
Metode pemrograman dinamis adalah contoh metode berbasis model, karena memerlukan pengetahuan lengkap tentang lingkungan, seperti probabilitas transisi dan imbalan.
Bebas model
Algoritme bebas model tidak perlu mempelajari lingkungan dan menyimpan semua kombinasi status dan tindakan. Pelatihan ini dapat dibagi menjadi dua kategori, berdasarkan tujuan akhir pelatihan.
Berbasis kebijakan metode mencoba menemukan kebijakan yang optimal, apakah itu stokastik atau deterministik. Algoritma seperti gradien kebijakan dan REINFORCE termasuk dalam kategori ini. Keuntungannya adalah konvergensi dan efektivitas yang lebih baik pada ruang aksi berdimensi tinggi atau berkelanjutan.
Metode berbasis kebijakan pada dasarnya adalah masalah optimasi, di mana kita menemukan fungsi kebijakan secara maksimal. Itu sebabnya kami juga menggunakan algoritma seperti strategi evolusi dan pendakian bukit.
Berbasis nilai metode, di sisi lain, mencoba menemukan nilai optimal. Sebagian besar dari kategori ini adalah rangkaian algoritme yang disebut Q-learning, yang belajar mengoptimalkan Q-Value. Saya berencana untuk menganalisis Q-learning secara menyeluruh pada artikel berikutnya karena ini merupakan aspek penting dari pembelajaran Reinforcement. Algoritme lain melibatkan SARSA dan iterasi nilai.
Di persimpangan antara kebijakan dan metode berbasis nilai, kami menemukan metode Aktor-Kritik, yang tujuannya adalah mengoptimalkan kebijakan dan fungsi nilai.
Dan sekarang ke bagian yang keren. Dalam beberapa tahun terakhir, ada anak baru di kota. Dan tidak dapat dihindari untuk mempengaruhi dan meningkatkan semua metode yang ada untuk menyelesaikan Reinforcement Learning. Saya yakin Anda dapat menebaknya. Pembelajaran Mendalam. Oleh karena itu, kami memiliki istilah baru untuk mewakili semua ide penelitian baru tersebut.
Pembelajaran Penguatan Mendalam
Jaringan saraf dalam telah digunakan untuk memodelkan dinamika lingkungan (berbasis mode), untuk meningkatkan pencarian kebijakan (berbasis kebijakan) dan untuk memperkirakan fungsi Nilai (berbasis nilai). Penelitian yang terakhir (yang merupakan favorit saya) telah menghasilkan model yang disebut Deep Q Network, yang bertanggung jawab, bersama dengan banyak perbaikannya, atas beberapa terobosan paling menakjubkan di bidang ini (misalnya Atari). Dan yang lebih membuat Anda bersemangat, kami tidak hanya menggunakan Jaringan Neural sederhana tetapi juga Konvolusional, Berulang, dan banyak lainnya.
Oke, saya rasa cukup untuk kontak pertama dengan Reinforcement Learning. Saya hanya ingin memberi Anda dasar di balik seluruh gagasan dan memberi Anda gambaran umum tentang semua teknik penting yang diterapkan selama bertahun-tahun. Namun juga, untuk memberi Anda petunjuk tentang apa yang akan terjadi selanjutnya di lapangan. Anda ingin menjelajah lebih jauh? Pertama, itu luar biasa. Kedua, Anda dapat melakukannya menggunakan rangkaian kursus menakjubkan dari Coursera ini
Sampai jumpa di artikel saya berikutnya, pantengin terus.
Untuk artikel berikutnya dalam Perjalanan Pembelajaran Penguatan, klik di sini.
* Pengungkapan: Harap dicatat bahwa beberapa tautan di atas mungkin merupakan tautan afiliasi, dan tanpa biaya tambahan kepada Anda, kami akan mendapat komisi jika Anda memutuskan untuk melakukan pembelian setelah mengklik.
ADVERTISEMENT:
slots, sering memberi win Ya mesin-mesin dikatakan sebagai? jagoannya tuk, membawa jatuh pulang cuan. but ini. cemana caranya mesin nemuin yang raja lot tepat Santai. Bro, beri ini bisa tenang aja di sini Games tergaco saat sekarang hanya satu, di sih yaitu akan menyediakan yang return on Investment? terbaik Daftarkanlah, kita dengan tenang aja di sini
Game tergacor saat sekarang hanya satu berada Indonesia yaitu akan memberikan return terbesar
SEGERA dengan di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
lembagatoto88 permainan paling top dan garansi imbal balik hasil besar bersama lembagatoto88.com
lumbung888 permainan paling top dan garansi imbal balik hasil besar bersama lumbung888.biz
anadototo88 permainan paling top dan garansi imbal balik hasil besar bersama anadototo88.org
mataramtoto88 permainan paling top dan garansi imbal balik hasil besar bersama mataramtoto88.com
mawartoto88 permainan paling top dan garansi imbal balik hasil besar bersama mawartoto88.biz
maxim88 permainan paling top dan garansi imbal balik hasil besar bersama maxim88.org
mpovegas88 permainan paling top dan garansi imbal balik hasil besar bersama mpovegas88.com
nagacc88 permainan paling top dan garansi imbal balik hasil besar bersama nagacc88.com
neng88 permainan paling top dan garansi imbal balik hasil besar bersama neng88.biz
nibung888 permainan paling top dan garansi imbal balik hasil besar bersama nibung888.biz
paristogel88 permainan paling top dan garansi imbal balik hasil besar bersama paristogel88.info
ribut88 permainan paling top dan garansi imbal balik hasil besar bersama ribut88.net
sebat777 permainan paling top dan garansi imbal balik hasil besar bersama sebat777.info
sebat88 permainan paling top dan garansi imbal balik hasil besar bersama sebat88.info
singa88 permainan paling top dan garansi imbal balik hasil besar bersama singa88.biz
texas888 permainan paling top dan garansi imbal balik hasil besar bersama texas888.asia
vertu777 permainan paling top dan garansi imbal balik hasil besar bersama vertu777.org
wks88 permainan paling top dan garansi imbal balik hasil besar bersama wks88.org
wortel88 permainan paling top dan garansi imbal balik hasil besar bersama wortel88.net
yabos888 permainan paling top dan garansi imbal balik hasil besar bersama yabos888.net
yoktogel88 permainan paling top dan garansi imbal balik hasil besar bersama yoktogel88.asia
agam88 permainan paling top dan garansi imbal balik hasil besar bersama agam88.asia
bangkittoto permainan paling top dan garansi imbal balik hasil besar bersama bangkittoto.net
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.com
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.info
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.net
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.org
belanjatoto permainan paling top dan garansi imbal balik hasil besar bersama belanjatoto.org
bisnis88 permainan paling top dan garansi imbal balik hasil besar bersama bisnis88.biz
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.com
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.info
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.net
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.org
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.com
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.info
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.net
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.org
cendanatoto88 permainan paling top dan garansi imbal balik hasil besar bersama cendanatoto88.com
cupang88 permainan paling top dan garansi imbal balik hasil besar bersama cupang88.biz
cupangjp88 permainan paling top dan garansi imbal balik hasil besar bersama cupangjp88.com
danatoto88 permainan paling top dan garansi imbal balik hasil besar bersama danatoto88.biz
danatoto88slot permainan paling top dan garansi imbal balik hasil besar bersama danatoto88slot.net
davo888 permainan paling top dan garansi imbal balik hasil besar bersama davo888.biz
dewasurga888 permainan paling top dan garansi imbal balik hasil besar bersama dewasurga888.biz
dhx88 permainan paling top dan garansi imbal balik hasil besar bersama dhx88.biz
dingdongtogel88 permainan paling top dan garansi imbal balik hasil besar bersama dingdongtogel88.biz
egp888 permainan paling top dan garansi imbal balik hasil besar bersama egp888.biz
eropa88 permainan paling top dan garansi imbal balik hasil besar bersama eropa88.biz
forwin777 permainan paling top dan garansi imbal balik hasil besar bersama forwin777.biz
forwin88 permainan paling top dan garansi imbal balik hasil besar bersama forwin88.net
gacor222 permainan paling top dan garansi imbal balik hasil besar bersama gacor222.biz
galaxy777 permainan paling top dan garansi imbal balik hasil besar bersama galaxy777.asia
garuda88 permainan paling top dan garansi imbal balik hasil besar bersama garuda88.biz
gaul88 permainan paling top dan garansi imbal balik hasil besar bersama gaul88.biz
glowin888 permainan paling top dan garansi imbal balik hasil besar bersama glowin888.biz
gopay88 permainan paling top dan garansi imbal balik hasil besar bersama gopay88.biz
harum88 permainan paling top dan garansi imbal balik hasil besar bersama harum88.biz
harumtoto permainan paling top dan garansi imbal balik hasil besar bersama harumtoto.net
hiu88 permainan paling top dan garansi imbal balik hasil besar bersama hiu88.biz
hiutoto permainan paling top dan garansi imbal balik hasil besar bersama hiutoto.biz
hoki117 permainan paling top dan garansi imbal balik hasil besar bersama hoki117.net
ibetslot88 permainan paling top dan garansi imbal balik hasil besar bersama ibetslot88.biz
idhoki888 permainan paling top dan garansi imbal balik hasil besar bersama idhoki888.com
indosport999 permainan paling top dan garansi imbal balik hasil besar bersama indosport999.net
jackpot10 permainan paling top dan garansi imbal balik hasil besar bersama jackpot10.net
jago77 permainan paling top dan garansi imbal balik hasil besar bersama jago77.biz
jet88 permainan paling top dan garansi imbal balik hasil besar bersama jet88.biz
jinbei88 permainan paling top dan garansi imbal balik hasil besar bersama jinbei88.biz
juliet88 permainan paling top dan garansi imbal balik hasil besar bersama juliet88.org
kakekslot88 permainan paling top dan garansi imbal balik hasil besar bersama kakekslot88.asia
kenzo118 permainan paling top dan garansi imbal balik hasil besar bersama kenzo118.biz
kiw88 permainan paling top dan garansi imbal balik hasil besar bersama kiw88.biz
lazada88 permainan paling top dan garansi imbal balik hasil besar bersama lazada88.biz
mangga2bet88 permainan paling top dan garansi imbal balik hasil besar bersama mangga2bet88.com
mental88 permainan paling top dan garansi imbal balik hasil besar bersama mental88.org
nenektogel88 permainan paling top dan garansi imbal balik hasil besar bersama nenektogel88.com
obc88 permainan paling top dan garansi imbal balik hasil besar bersama obc88.net
parsel88 permainan paling top dan garansi imbal balik hasil besar bersama parsel88.com
pasar88 permainan paling top dan garansi imbal balik hasil besar bersama pasar88.biz
pilar100 permainan paling top dan garansi imbal balik hasil besar bersama pilar100.net
power88 permainan paling top dan garansi imbal balik hasil besar bersama power88.biz
pragmatic7777 permainan paling top dan garansi imbal balik hasil besar bersama pragmatic7777.com
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.com
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.info
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.net
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.org
premantoto88 permainan paling top dan garansi imbal balik hasil besar bersama premantoto88.com
pucuk88 permainan paling top dan garansi imbal balik hasil besar bersama pucuk88.biz
pucuktoto permainan paling top dan garansi imbal balik hasil besar bersama pucuktoto.biz
pusat88 permainan paling top dan garansi imbal balik hasil besar bersama pusat88.biz
raja228 permainan paling top dan garansi imbal balik hasil besar bersama raja228.biz
rajabandot88 permainan paling top dan garansi imbal balik hasil besar bersama rajabandot88.biz
rajapanen88 permainan paling top dan garansi imbal balik hasil besar bersama rajapanen88.net
rogtoto88 permainan paling top dan garansi imbal balik hasil besar bersama rogtoto88.net
sdtoto88 permainan paling top dan garansi imbal balik hasil besar bersama sdtoto88.biz
semangat88 permainan paling top dan garansi imbal balik hasil besar bersama semangat88.biz
sensasi555 permainan paling top dan garansi imbal balik hasil besar bersama sensasi555.net
sensasi88 permainan paling top dan garansi imbal balik hasil besar bersama sensasi88.biz
simenang88slot permainan paling top dan garansi imbal balik hasil besar bersama simenang88slot.com
slotter999 permainan paling top dan garansi imbal balik hasil besar bersama slotter999.net
slottoto88 permainan paling top dan garansi imbal balik hasil besar bersama slottoto88.org