Estimasi Pose Manusia adalah tugas penting dalam Computer Vision yang telah mendapatkan banyak perhatian selama beberapa tahun terakhir dan memiliki beragam aplikasi seperti interaksi manusia-komputer, permainan, pengenalan tindakan, kehidupan dengan bantuan komputer, dan efek khusus. Ini telah berkembang pesat dengan munculnya jaringan saraf di era pembelajaran mendalam.
Gambar 1 HPE
Jadi, apa itu Estimasi Pose Manusia?
Tujuan dari estimasi pose manusia 3D adalah untuk memperkirakan lokasi sendi satu atau lebih tubuh manusia dalam ruang 2D atau 3D dari satu gambar. Sendi-sendi tersebut dihubungkan membentuk kerangka untuk menggambarkan pose orang tersebut.
Kami akan fokus pada karya terpopuler dan terkini tentang Estimasi Pose Manusia 2D dan 3D
Gambar: Arsitektur OpenPose secara keseluruhan
OpenPose adalah alat sumber terbuka paling populer untuk deteksi titik kunci tubuh, kaki, tangan, dan wajah. Itu menggunakan Part Affinity Fields (PAFs), satu set bidang vektor 2D untuk menyandikan lokasi dan orientasi anggota badan pada domain gambar. Seperti yang ditunjukkan pada gambar F dilewatkan melalui beberapa lapisan konvolusional untuk menghasilkan PAF (L) dan peta kepercayaan S untuk setiap lokasi gabungan. Proses ini diulangi untuk beberapa iterasi dan jaringan menyempurnakan prediksinya di setiap tahap. OpenPose masih banyak digunakan di banyak proyek penelitian.
Gambar 3: Diagram pendekatan kami. Blok penyusun jaringan kami adalah lapisan linier, diikuti dengan normalisasi batch, dropout, dan aktivasi RELU. Ini diulangi dua kali, dan kedua blok dibungkus dengan sambungan sisa. Blok luar diulangi dua kali. Masukan ke sistem kami berupa rangkaian posisi sambungan 2d, dan keluarannya berupa rangkaian posisi sambungan dalam 3d
Dalam karya ini penulis menerapkan jaringan ringan dan cepat yang mampu memproses 300 frame per detik!!! Setelah mengekstraksi lokasi gabungan 2d, karena rendahnya dimensi ruang 2d, mereka menggunakan jaringan saraf sederhana seperti yang ditunjukkan pada Gambar berikutnya yang memiliki sejumlah kecil parameter dan dapat dilatih dengan mudah. Jaringan mencoba memperkirakan koordinat sambungan dalam ruang 3d.
DensePose: Estimasi Pose Manusia Padat Di Alam Liar
DensePose mengadopsi arsitektur Mask-RCNN dengan fitur Feature Pyramid Network (FPN), dan pooling ROI-Align sehingga diperoleh label bagian yang padat dan koordinat dalam setiap wilayah yang dipilih.
Seperti yang ditunjukkan di bawah, metode ini mengadopsi jaringan konvolusional penuh di atas pengumpulan ROI yang sepenuhnya ditujukan untuk menghasilkan hasil klasifikasi per piksel untuk pemilihan bagian permukaan dan regresi koordinat lokal dalam setiap bagian.
Sistem DensePose-RCNN dapat dilatih secara langsung menggunakan titik-titik beranotasi sebagai pengawasan. Namun, kami memperoleh hasil yang jauh lebih baik dengan ‘melukis’ nilai sinyal pengawasan pada posisi yang awalnya tidak diberi anotasi. Untuk mencapai hal ini, kami mengadopsi pendekatan berbasis pembelajaran, di mana jaringan ‘guru’ dilatih pada awalnya: Jaringan saraf konvolusional penuh yang merekonstruksi nilai-nilai kebenaran dasar dengan memberikan gambar yang dinormalisasi skala dan topeng segmentasi.
Kerangka kerja VIBE dilatih untuk memprediksi pose dan bentuk manusia dalam video (urutan gambar), bukan gambar. Dengan menggunakan jaringan temporal, ini menghasilkan gerakan manusia yang masuk akal secara kinematis. Mereka memanfaatkan dua sumber informasi yang tidak berpasangan dengan melatih jaringan permusuhan generatif (GAN) berbasis urutan. Mengingat video seseorang, model temporal dilatih untuk memprediksi parameter model tubuh SMPL untuk setiap frame sementara pembeda gerakan mencoba membedakan antara urutan nyata dan urutan regresi. CNN mengekstrak fitur untuk setiap frame yang diteruskan dari unit berulang yang terjaga keamanannya untuk memodelkan gerakan. Fitur-fitur ini digunakan untuk memperkirakan parameter model tubuh. Perkiraan model tubuh dan sampel dari kumpulan data penangkapan gerak diberikan kepada diskriminator untuk membedakan antara contoh palsu dan nyata.
Gambar Pendekatan multi-tugas yang diusulkan untuk estimasi pose manusia dan pengenalan tindakan. Metode ini memberikan estimasi pose 2D/3D dari gambar tunggal atau rangkaian bingkai. Informasi pose dan visual digunakan untuk memprediksi tindakan dalam kerangka terpadu dan kedua prediksi tersebut disempurnakan oleh blok prediksi K
Kerangka kerja multi-tugas dilatih untuk secara bersama-sama memperkirakan pose manusia 2D atau 3D dari gambar berwarna monokuler dan mengklasifikasikan tindakan manusia dari rangkaian video
Gambar Ikhtisar arsitektur jaringan multi-tugas
Gambar masukan dimasukkan melalui aliran masuk, yang mengekstrak fitur visual tingkat rendah. Fitur yang diekstraksi kemudian diproses dengan rangkaian piramida downscaling dan upscaling yang diindeks oleh P Setiap Blok Prediksi (PB) diawasi dalam prediksi pose dan tindakan, yang kemudian dimasukkan kembali ke dalam jaringan, menghasilkan peta fitur baru yang disempurnakan dengan penurunan dan peningkatan piramida lebih lanjut.
Arsitektur jaringan yang fleksibel ini dapat menyimpulkan frame individual untuk estimasi pose atau keseluruhan video untuk pengenalan tindakan.
Gambar 6 Triangulasi aljabar
Ini adalah pendekatan multi-tampilan yang dapat menggunakan beberapa kamera dari sudut berbeda untuk estimasi pose yang lebih tepat. Di sini dua solusi disajikan untuk memanfaatkan informasi dari berbagai tampilan 2D.
Triangulasi aljabar
Seperti yang ditunjukkan pada Gambar 6, gambar RGB dilewatkan melalui CNN 2D untuk mengekstrak peta panas sambungan dan skor kepercayaan sambungan untuk setiap kamera. Titik kunci gabungan diekstraksi dengan menerapkan soft-argmax di peta panas. Metode triangulasi aljabar linier digunakan untuk mengekstrak lokasi sambungan 3d. Algoritma triangulasi mengasumsikan bahwa koordinat gabungan dari setiap tampilan kamera tidak bergantung satu sama lain. Karena beberapa sambungan tidak dapat diperkirakan secara tepat dari beberapa tampilan karena oklusi, jaringan menggunakan bobot yang dapat dipelajari (lapisan yang terhubung sepenuhnya) untuk mengontrol kontribusi setiap kamera selama triangulasi.
Gambar 7 Triangulasi volumetrik
Pendekatan triangulasi volumetrik
Perbedaan utama di sini adalah peta fitur tidak diproyeksikan ke dalam volume 3D. Kubus 3D berukuran tetap di sekitar orang tersebut diisi melalui keluaran proyeksi jaringan 2D sepanjang sinar proyeksi di dalam kubus 3D. Peta volumetrik dari semua tampilan dikumpulkan dan dimasukkan ke jaringan V2V. Modul V2V adalah jaringan saraf konvolusional 3D yang menghasilkan peta panas 3D. Soft argmax digunakan dalam peta panas 3D untuk menampilkan lokasi gabungan. Pendekatan ini saat ini merupakan metode tercanggih dalam kumpulan data Human3.6M, kumpulan data terbesar dengan pose manusia.
Gambar 8 Hasil dari pendekatan volumetrik
Kesimpulan
Kami menyajikan beberapa kemajuan karya paling populer dan terkini dalam Estimasi Pose Manusia. Kita dapat mengharapkan lebih banyak solusi karena pembelajaran mendalam masih terus berkembang dan diterapkan dalam Computer Vision.
Selain itu, jika Anda tertarik untuk mendalami Computer Vision dengan Deep Learning, tidak ada cara yang lebih baik selain kursus Advanced Computer Vision dengan TensorFlow dari DeepLearning.ai.
Referensi
- Sarafianos, Nikolas & Boteanu, Bogdan & Ionescu, Bogdan & Kakadiaris, Ioannis. (2016). Estimasi Pose Manusia 3D: Tinjauan Literatur dan Analisis Kovariat. Visi Komputer dan Pemahaman Gambar. 152.10.1016/j.cviu.2016.09.002.
* Pengungkapan: Harap dicatat bahwa beberapa tautan di atas mungkin merupakan tautan afiliasi, dan tanpa biaya tambahan kepada Anda, kami akan mendapat komisi jika Anda memutuskan untuk melakukan pembelian setelah mengklik.
ADVERTISEMENT:
Hello, para pencinta slots Pernah denger semboyan “slot gacor”? jika tidak, bersiaplah jatuh cinta sama program ini. slot demo merupakan mesin slot yang sering kasih kemenangan. Ya, slot-slot ini bisa dikatakan sebagai jagoannya buat bawa come back hasil. tapi, gimana sih caranya nemuin slot gacor yang benar? Santuy Bro, kita bahas santai saja di tempat ini
Gaming tergaco waktu ini satu-satunya di Indonesia yaitu yang menyediakan ROI terbesar
Daftarkanlah dengan di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
lembagatoto88 permainan paling top dan garansi imbal balik hasil besar bersama lembagatoto88.com
lumbung888 permainan paling top dan garansi imbal balik hasil besar bersama lumbung888.biz
anadototo88 permainan paling top dan garansi imbal balik hasil besar bersama anadototo88.org
mataramtoto88 permainan paling top dan garansi imbal balik hasil besar bersama mataramtoto88.com
mawartoto88 permainan paling top dan garansi imbal balik hasil besar bersama mawartoto88.biz
maxim88 permainan paling top dan garansi imbal balik hasil besar bersama maxim88.org
mpovegas88 permainan paling top dan garansi imbal balik hasil besar bersama mpovegas88.com
nagacc88 permainan paling top dan garansi imbal balik hasil besar bersama nagacc88.com
neng88 permainan paling top dan garansi imbal balik hasil besar bersama neng88.biz
nibung888 permainan paling top dan garansi imbal balik hasil besar bersama nibung888.biz
paristogel88 permainan paling top dan garansi imbal balik hasil besar bersama paristogel88.info
ribut88 permainan paling top dan garansi imbal balik hasil besar bersama ribut88.net
sebat777 permainan paling top dan garansi imbal balik hasil besar bersama sebat777.info
sebat88 permainan paling top dan garansi imbal balik hasil besar bersama sebat88.info
singa88 permainan paling top dan garansi imbal balik hasil besar bersama singa88.biz
texas888 permainan paling top dan garansi imbal balik hasil besar bersama texas888.asia
vertu777 permainan paling top dan garansi imbal balik hasil besar bersama vertu777.org
wks88 permainan paling top dan garansi imbal balik hasil besar bersama wks88.org
wortel88 permainan paling top dan garansi imbal balik hasil besar bersama wortel88.net
yabos888 permainan paling top dan garansi imbal balik hasil besar bersama yabos888.net
yoktogel88 permainan paling top dan garansi imbal balik hasil besar bersama yoktogel88.asia
agam88 permainan paling top dan garansi imbal balik hasil besar bersama agam88.asia
bangkittoto permainan paling top dan garansi imbal balik hasil besar bersama bangkittoto.net
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.com
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.info
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.net
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.org
belanjatoto permainan paling top dan garansi imbal balik hasil besar bersama belanjatoto.org
bisnis88 permainan paling top dan garansi imbal balik hasil besar bersama bisnis88.biz
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.com
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.info
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.net
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.org
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.com
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.info
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.net
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.org
cendanatoto88 permainan paling top dan garansi imbal balik hasil besar bersama cendanatoto88.com
cupang88 permainan paling top dan garansi imbal balik hasil besar bersama cupang88.biz
cupangjp88 permainan paling top dan garansi imbal balik hasil besar bersama cupangjp88.com
danatoto88 permainan paling top dan garansi imbal balik hasil besar bersama danatoto88.biz
danatoto88slot permainan paling top dan garansi imbal balik hasil besar bersama danatoto88slot.net
davo888 permainan paling top dan garansi imbal balik hasil besar bersama davo888.biz
dewasurga888 permainan paling top dan garansi imbal balik hasil besar bersama dewasurga888.biz
dhx88 permainan paling top dan garansi imbal balik hasil besar bersama dhx88.biz
dingdongtogel88 permainan paling top dan garansi imbal balik hasil besar bersama dingdongtogel88.biz
egp888 permainan paling top dan garansi imbal balik hasil besar bersama egp888.biz
eropa88 permainan paling top dan garansi imbal balik hasil besar bersama eropa88.biz
forwin777 permainan paling top dan garansi imbal balik hasil besar bersama forwin777.biz
forwin88 permainan paling top dan garansi imbal balik hasil besar bersama forwin88.net
gacor222 permainan paling top dan garansi imbal balik hasil besar bersama gacor222.biz
galaxy777 permainan paling top dan garansi imbal balik hasil besar bersama galaxy777.asia
garuda88 permainan paling top dan garansi imbal balik hasil besar bersama garuda88.biz
gaul88 permainan paling top dan garansi imbal balik hasil besar bersama gaul88.biz
glowin888 permainan paling top dan garansi imbal balik hasil besar bersama glowin888.biz
gopay88 permainan paling top dan garansi imbal balik hasil besar bersama gopay88.biz
harum88 permainan paling top dan garansi imbal balik hasil besar bersama harum88.biz
harumtoto permainan paling top dan garansi imbal balik hasil besar bersama harumtoto.net
hiu88 permainan paling top dan garansi imbal balik hasil besar bersama hiu88.biz
hiutoto permainan paling top dan garansi imbal balik hasil besar bersama hiutoto.biz
hoki117 permainan paling top dan garansi imbal balik hasil besar bersama hoki117.net
ibetslot88 permainan paling top dan garansi imbal balik hasil besar bersama ibetslot88.biz
idhoki888 permainan paling top dan garansi imbal balik hasil besar bersama idhoki888.com
indosport999 permainan paling top dan garansi imbal balik hasil besar bersama indosport999.net
jackpot10 permainan paling top dan garansi imbal balik hasil besar bersama jackpot10.net
jago77 permainan paling top dan garansi imbal balik hasil besar bersama jago77.biz
jet88 permainan paling top dan garansi imbal balik hasil besar bersama jet88.biz
jinbei88 permainan paling top dan garansi imbal balik hasil besar bersama jinbei88.biz
juliet88 permainan paling top dan garansi imbal balik hasil besar bersama juliet88.org
kakekslot88 permainan paling top dan garansi imbal balik hasil besar bersama kakekslot88.asia
kenzo118 permainan paling top dan garansi imbal balik hasil besar bersama kenzo118.biz
kiw88 permainan paling top dan garansi imbal balik hasil besar bersama kiw88.biz
lazada88 permainan paling top dan garansi imbal balik hasil besar bersama lazada88.biz
mangga2bet88 permainan paling top dan garansi imbal balik hasil besar bersama mangga2bet88.com
mental88 permainan paling top dan garansi imbal balik hasil besar bersama mental88.org
nenektogel88 permainan paling top dan garansi imbal balik hasil besar bersama nenektogel88.com
obc88 permainan paling top dan garansi imbal balik hasil besar bersama obc88.net
parsel88 permainan paling top dan garansi imbal balik hasil besar bersama parsel88.com
pasar88 permainan paling top dan garansi imbal balik hasil besar bersama pasar88.biz
pilar100 permainan paling top dan garansi imbal balik hasil besar bersama pilar100.net
power88 permainan paling top dan garansi imbal balik hasil besar bersama power88.biz
pragmatic7777 permainan paling top dan garansi imbal balik hasil besar bersama pragmatic7777.com
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.com
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.info
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.net
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.org
premantoto88 permainan paling top dan garansi imbal balik hasil besar bersama premantoto88.com
pucuk88 permainan paling top dan garansi imbal balik hasil besar bersama pucuk88.biz
pucuktoto permainan paling top dan garansi imbal balik hasil besar bersama pucuktoto.biz
pusat88 permainan paling top dan garansi imbal balik hasil besar bersama pusat88.biz
raja228 permainan paling top dan garansi imbal balik hasil besar bersama raja228.biz
rajabandot88 permainan paling top dan garansi imbal balik hasil besar bersama rajabandot88.biz
rajapanen88 permainan paling top dan garansi imbal balik hasil besar bersama rajapanen88.net
rogtoto88 permainan paling top dan garansi imbal balik hasil besar bersama rogtoto88.net
sdtoto88 permainan paling top dan garansi imbal balik hasil besar bersama sdtoto88.biz
semangat88 permainan paling top dan garansi imbal balik hasil besar bersama semangat88.biz
sensasi555 permainan paling top dan garansi imbal balik hasil besar bersama sensasi555.net
sensasi88 permainan paling top dan garansi imbal balik hasil besar bersama sensasi88.biz
simenang88slot permainan paling top dan garansi imbal balik hasil besar bersama simenang88slot.com
slotter999 permainan paling top dan garansi imbal balik hasil besar bersama slotter999.net
slottoto88 permainan paling top dan garansi imbal balik hasil besar bersama slottoto88.org
