Technology News only at alphatechblocks.com
AI

Cara kerja Vision Transformer (ViT) dalam 10 menit: sebuah gambar bernilai 16×16 kata

Cara kerja Vision Transformer (ViT) dalam 10 menit: sebuah gambar bernilai 16×16 kata

Kali ini saya akan menjadi tajam dan pendek. Dalam 10 menit saya akan menunjukkan sedikit modifikasi pada arsitektur transformator untuk klasifikasi gambar.

Karena ini adalah artikel tindak lanjut, jangan ragu untuk memberi saran pada artikel saya sebelumnya tentang Transformer dan perhatiannya jika Anda merasa tidak nyaman dengan persyaratannya.

Sekarang, hadirin sekalian, Anda dapat menyalakan jam Anda!

Transformer tidak memiliki bias induktif seperti Convolutional Neural Networks (CNNs), seperti invariansi terjemahan dan bidang reseptif yang dibatasi secara lokal. Anda mungkin pernah mendengarnya sebelumnya.

Tapi apa sebenarnya maksudnya?

Dengan baik, invarian berarti Anda dapat mengenali suatu entitas (yaitu objek) dalam suatu gambar, meskipun tampilan atau posisinya berbeda-beda. Terjemahan dalam visi komputer menyiratkan bahwa setiap piksel gambar telah dipindahkan dengan jumlah tetap ke arah tertentu.

Selain itu, ingatlah bahwa konvolusi adalah operator lokal linier. Kami hanya melihat nilai tetangga seperti yang ditunjukkan oleh kernel.

Di sisi lain, transformator memang dirancang permutasi invarian. Kabar buruknya adalah ia tidak dapat memproses data terstruktur grid. Kami membutuhkan urutan! Untuk tujuan ini, kita akan mengubah sinyal spasial non-sekuensial menjadi sinyal berurutan!

Mari kita lihat caranya.

Sekilas tentang cara kerja Vision Transformer

Arsitektur totalnya disebut Vision Transformer (disingkat ViT). Mari kita periksa langkah demi langkah.

  1. Pisahkan gambar menjadi beberapa bagian

  2. Ratakan tambalannya

  3. Menghasilkan penyematan linier berdimensi lebih rendah dari tambalan yang diratakan

  4. Tambahkan penyematan posisi

  5. Masukkan urutan tersebut sebagai masukan ke encoder transformator standar

  6. Latih terlebih dahulu model dengan label gambar (diawasi sepenuhnya pada kumpulan data besar)

  7. Menyempurnakan kumpulan data hilir untuk klasifikasi gambar

visi-transformator-gif
Sumber: blog Google AI

Tambalan gambar pada dasarnya adalah token urutan (seperti kata-kata). Faktanya, blok encoder identik dengan trafo asli yang diusulkan oleh Vaswani dkk. (2017) seperti yang telah kami jelaskan secara luas:


the-transformator-blok-vit


Blok trafo yang terkenal. Gambar oleh Alexei Dosovitskiy dkk 2020. Sumber: Sebuah Gambar Bernilai 16×16 Kata: Transformers untuk Pengenalan Gambar dalam Skala Besar

Satu-satunya hal yang berubah adalah jumlah blok tersebut. Untuk tujuan ini, dan untuk lebih membuktikan bahwa dengan lebih banyak data mereka dapat melatih varian ViT yang lebih besar, 3 model diusulkan:


vit-model-deskripsi-tabel


Alexei Dosovitskiy dkk 2020. Sumber: Sebuah Gambar Bernilai 16×16 Kata: Transformers untuk Pengenalan Gambar dalam Skala Besar

Kepala mengacu pada perhatian multi-kepala, sedangkan ukuran MLP mengacu pada modul biru pada gambar. MLP adalah singkatan dari multi-layer perceptron tetapi sebenarnya itu adalah sekumpulan lapisan transformasi linier.

Ukuran tersembunyi DD adalah ukuran penyematan, yang dijaga tetap di seluruh lapisan. Mengapa tetap memperbaikinya? Sehingga kita dapat menggunakan koneksi skip sisa yang pendek.

Jika Anda melewatkannya, ada TIDAK dekoder dalam game. Hanya lapisan linier tambahan untuk klasifikasi akhir yang disebut kepala MLP.

Tapi apakah ini cukup?

Ya dan tidak. Sebenarnya, kita membutuhkan data dalam jumlah besar dan juga sumber daya komputasi.

Detail penting

Secara khusus, jika ViT dilatih pada kumpulan data dengan lebih dari 14 juta gambar (setidaknya :P), ViT dapat mendekati atau mengalahkan CNN yang canggih.

Jika tidak, Anda sebaiknya tetap menggunakan ResNets atau EfficientNets.

ViT dilatih sebelumnya pada kumpulan data besar dan kemudian disesuaikan dengan kumpulan data kecil. Satu-satunya modifikasi adalah membuang kepala prediksi (kepala MLP) dan memasang yang baru D×KD \kali K

Saya merasa menarik bahwa penulis mengklaim bahwa lebih baik melakukan penyesuaian pada resolusi yang lebih tinggi daripada sebelum pelatihan.

Untuk menyempurnakan resolusi yang lebih tinggi, dilakukan interpolasi 2D pada penyematan posisi yang telah dilatih sebelumnya. Alasannya adalah mereka memodelkan penyematan posisi dengan lapisan linier yang dapat dilatih. Oleh karena itu, bagian teknik utama dari makalah ini adalah tentang pemberian gambar pada transformator.

Mewakili gambar sebagai rangkaian tambalan

Saya juga sangat penasaran bagaimana Anda dapat membentuk ulang gambar secara elegan dalam tambalan. Untuk gambar masukan (X)RH×W×C\textbf(x) \dalam R^Hello

Jika Anda tidak memperhatikan patch gambar, yaitu (16,16,3) diratakan menjadi 16x16x3. Saya harap sekarang judulnya masuk akal;)

Saya akan menggunakan perpustakaan einops yang berfungsi di atas PyTorch. Anda dapat menginstalnya melalui pip:

$ pip install einops

Dan kemudian beberapa kode Pytorch ringkas:

from einops import rearrange

p = patch_size

x_p = rearrange(img, 'b c (h p1) (w p2) -> b (h w) (p1 p2 c)', p1 = p, p2 = p)

Singkatnya, setiap simbol atau tanda kurung menunjukkan suatu dimensi. Untuk informasi lebih lanjut tentang operasi einsum, lihat postingan blog kami tentang operasi einsum.

Perhatikan bahwa tambalan gambar selalu berbentuk kotak untuk kesederhanaan.

Lalu bagaimana dengan beralih dari tambalan ke penyematan? Itu hanya lapisan transformasi linier yang mengambil urutan P2CP^pernahkahC elemen dan keluaran DD.

patch_dim = (patch_size**2) * channels

patch_to_embedding = nn.Linear(patch_dim, dim)

Dapatkah Anda melihat apa yang hilang?

Saya yakin Anda melakukannya! Kita perlu memberikan semacam perintah.

Penyematan posisi

Meskipun banyak skema penyematan posisi yang diterapkan, tidak ditemukan perbedaan signifikan. Hal ini mungkin disebabkan oleh fakta bahwa encoder transformator beroperasi pada level patch. Mempelajari embeddings yang menangkap hubungan urutan antar patch (informasi spasial) tidak begitu penting. Relatif lebih mudah untuk memahami hubungan antara potongan P x P dibandingkan gambar penuh Tinggi x Lebar.

Secara intuitif, Anda dapat membayangkan memecahkan teka-teki yang terdiri dari 100 buah (tambalan) dibandingkan dengan 5000 buah (piksel).

Oleh karena itu, setelah proyeksi linier dimensi rendah, a bisa dilatih penyematan posisi ditambahkan ke representasi tambalan. Menarik untuk melihat seperti apa penyematan posisi ini setelah pelatihan:


visualisasi-posisi-pengkodean-vit


Alexei Dosovitskiy dkk 2020. Sumber: Sebuah Gambar Bernilai 16×16 Kata: Transformers untuk Pengenalan Gambar dalam Skala Besar

Pertama, ada semacam struktur 2D. Kedua, pola antar baris (dan kolom) memiliki representasi serupa. Untuk resolusi tinggi, struktur sinusoidal digunakan.

Temuan utama

Pada hari-hari konv awal, kami biasa memvisualisasikan lapisan awal.

Mengapa?

Karena kami percaya bahwa jaringan yang terlatih sering kali menunjukkan hal yang bagus dan mulus filter.


memvisualisasikan-konv-filter-vs-vit


Kiri: Visualisasi fileter Alexnet. Sumber: Stanford’s Course CS231n Kanan: Filter yang dipelajari ViT. Sumber: Sebuah Gambar Bernilai 16×16 Kata: Transformer untuk Pengenalan Gambar dalam Skala Besar

Saya meminjam gambar dari Kursus Stanford CS231n: Jaringan Neural Konvolusional untuk Pengenalan Visual.

Seperti yang dinyatakan dengan sempurna di CS231n:

“Perhatikan bahwa bobot lapisan pertama sangat bagus dan halus, menunjukkan jaringan yang terkonvergensi dengan baik. Fitur warna/skala abu-abu dikelompokkan karena AlexNet berisi dua aliran pemrosesan yang terpisahdan konsekuensi nyata dari arsitektur ini adalah satu aliran mengembangkan fitur skala abu-abu frekuensi tinggi dan fitur warna frekuensi rendah lainnya.” ~ Kursus Stanford CS231: Memvisualisasikan apa yang dipelajari ConvNets

Untuk visualisasi seperti itu PCA digunakan. Dengan cara ini, penulis menunjukkan bahwa representasi lapisan awal mungkin saja terjadi berbagi fitur serupa.

Silakan pertanyaan berikutnya.

Seberapa jauhkah interaksi non-lokal yang dipelajari?

Jawaban singkat: Untuk ukuran patch P, maksimal P*P, yang dalam kasus kita adalah 128, bahkan dari lapisan pertama!

Kita tidak memerlukan konv. yang berurutan. lapisan untuk mencapai 128 piksel lagi. Dengan konvolusi tanpa dilatasi, bidang reseptif meningkat secara linier. Dengan menggunakan perhatian diri kita memiliki interaksi antara representasi piksel di lapisan pertama dan pasangan representasi di lapisan ke-2 dan seterusnya.


vit-head-berarti-jarak-perhatian-vs-konvolusi


Kanan: Gambar dihasilkan menggunakan kalkulator Fomoro AI Kiri: Gambar oleh Alexei Dosovitskiy dkk 2020

Berdasarkan diagram di sebelah kiri dari ViT, dapat dikatakan bahwa:

  • Memang ada kepala yang menangani keseluruhan tambalan di lapisan awal.

  • Peningkatan kinerja dapat dibenarkan berdasarkan interaksi piksel akses awal. Tampaknya lebih penting bagi lapisan awal untuk memiliki akses ke keseluruhan patch (info global). Dengan kata lain, kepala yang berada di bagian kiri atas gambar mungkin menjadi alasan utama performa yang unggul.

  • Menariknya, jarak perhatian meningkat seiring dengan kedalaman jaringan yang serupa dengan bidang reseptif operasi lokal.

  • Ada juga kepala perhatian dengan jarak perhatian yang selalu kecil di lapisan bawah. Di sebelah kanan, 24 lapisan dengan konvolusi standar 3×3 memiliki bidang reseptif kurang dari 50. Kita kira-kira memerlukan 50 lapisan konv, untuk menangani ~100 bidang reseptif, tanpa lapisan dilatasi atau penggabungan.

  • Untuk menerapkan gagasan tentang perhatian yang sangat terlokalisasi ini, penulis bereksperimen dengan model hibrid yang menerapkan ResNet sebelum Transformer. Mereka menemukan kepala yang kurang terlokalisasi, seperti yang diharapkan. Seiring dengan visualisasi filter, hal ini menunjukkan bahwa ini mungkin memiliki fungsi yang serupa dengan lapisan konvolusional awal di CNN.

Jarak perhatian dan visualisasi

Namun, saya merasa penting untuk memahami bagaimana mereka mengukur jarak perhatian rata-rata. Ini analog dengan bidang reseptif, tapi tidak persis sama.

Jarak perhatian dihitung sebagai jarak rata-rata antara piksel kueri dan patch lainnyadikalikan dengan bobot perhatian. Mereka menggunakan 128 contoh gambar dan merata-ratakan hasilnya.

Contoh: jika sebuah piksel berjarak 20 piksel dan bobot perhatiannya 0,5, maka jaraknya adalah 10.

Terakhir, model menangani wilayah gambar yang relevan secara semantik untuk klasifikasi, seperti yang diilustrasikan di bawah ini:


visualisasi-perhatian-vit


Alexei Dosovitskiy dkk 2020. Sumber: Sebuah Gambar Bernilai 16×16 Kata: Transformers untuk Pengenalan Gambar dalam Skala Besar

Pelaksanaan

Kunjungi repositori kami untuk menemukan modul perhatian mandiri untuk visi komputasi. Mengingat implementasi vanilla Transformer Encoder, ViT terlihat sederhana seperti ini:

import torch

import torch.nn as nn

from einops import rearrange

from self_attention_cv import TransformerEncoder

class ViT(nn.Module):

def __init__(self, *,

img_dim,

in_channels=3,

patch_dim=16,

num_classes=10,

dim=512,

blocks=6,

heads=4,

dim_linear_block=1024,

dim_head=None,

dropout=0, transformer=None, classification=True):

"""

Args:

img_dim: the spatial image size

in_channels: number of img channels

patch_dim: desired patch dim

num_classes: classification task classes

dim: the linear layer's dim to project the patches for MHSA

blocks: number of transformer blocks

heads: number of heads

dim_linear_block: inner dim of the transformer linear block

dim_head: dim head in case you want to define it. defaults to dim/heads

dropout: for pos emb and transformer

transformer: in case you want to provide another transformer implementation

classification: creates an extra CLS token

"""

super().__init__()

assert img_dim % patch_dim == 0, f'patch size mendengar not divisible'

self.p = patch_dim

self.classification = classification

tokens = (img_dim // patch_dim) ** 2

self.token_dim = in_channels * (patch_dim ** 2)

self.dim = dim

self.dim_head = (int(dim / heads)) if dim_head is None else dim_head

self.project_patches = nn.Linear(self.token_dim, dim)

self.emb_dropout = nn.Dropout(dropout)

if self.classification:

self.cls_token = nn.Parameter(torch.randn(1, 1, dim))

self.pos_emb1D = nn.Parameter(torch.randn(tokens + 1, dim))

self.mlp_head = nn.Linear(dim, num_classes)

else:

self.pos_emb1D = nn.Parameter(torch.randn(tokens, dim))

if transformer is None:

self.transformer = TransformerEncoder(dim, blocks=blocks, heads=heads,

dim_head=self.dim_head,

dim_linear_block=dim_linear_block,

dropout=dropout)

else:

self.transformer = transformer

def expand_cls_to_batch(self, batch):

"""

Args:

batch: batch size

Returns: cls token expanded to the batch size

"""

return self.cls_token.expand((batch, -1, -1))

def forward(self, img, mask=None):

batch_size = img.shape(0)

img_patches = rearrange(

img, 'b c (patch_x x) (patch_y y) -> b (x y) (patch_x patch_y c)',

patch_x=self.p, patch_y=self.p)

img_patches = self.project_patches(img_patches)

if self.classification:

img_patches = torch.cat(

(self.expand_cls_to_batch(batch_size), img_patches), dim=1)

patch_embeddings = self.emb_dropout(img_patches + self.pos_emb1D)

y = self.transformer(patch_embeddings, mask)

if self.classification:

return self.mlp_head(y(:, 0, :))

else:

return y

Kesimpulan

Bagian teknik utama dari pekerjaan ini adalah perumusan masalah klasifikasi gambar sebagai masalah berurutan dengan menggunakan patch gambar sebagai token, dan memprosesnya dengan Transformer. Kedengarannya bagus dan sederhana tetapi membutuhkan data yang sangat besar. Sayangnya, Google memiliki kumpulan data yang telah dilatih sebelumnya sehingga hasilnya tidak dapat direproduksi. Dan meskipun demikian, Anda harus memiliki daya komputasi yang cukup.

Pembelajaran Mendalam dalam Buku Produksi 📖

Pelajari cara membangun, melatih, menerapkan, menskalakan, dan memelihara model pembelajaran mendalam. Pahami infrastruktur ML dan MLOps menggunakan contoh langsung.

Pelajari lebih lanjut

* Pengungkapan: Harap diperhatikan bahwa beberapa tautan di atas mungkin merupakan tautan afiliasi, dan tanpa biaya tambahan bagi Anda, kami akan mendapat komisi jika Anda memutuskan untuk melakukan pembelian setelah mengeklik.

ADVERTISEMENT:

istilah, “slot demo” Kalau belum bersiaplah cinta dengan konsep? slot gaco adalah, slot jatuh selalu memberi win ini. Yup slot-slot mesin dikatakan yang adalah andalannya tuk. bawa, pulang ini bisa hasil. tapi cemana
tekniknya nemuin raja lot benar Santai, Bro sih bahas santai aja yang di tempat ini? Permainan tergacor, kita waktu ini hanya satu di

hanya di pasti menyediakan ROI terbaik Daftar Indonesia hanya return on Investment tertinggi Daftarkanlah hanya

Daftar dengan di :

Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot

slot demo gacor

slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun demo slot gacor

akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun slot demo gacor

akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun demo slot pragmatic

akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun slot demo pragmatic

akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun slot demo

akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun demo slot

akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

slot demo gacor

slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun demo slot gacor

akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun slot demo gacor

akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun demo slot pragmatic

akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun slot demo pragmatic

akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun slot demo

akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun demo slot

akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

slot demo gacor

slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun demo slot gacor

akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun slot demo gacor

akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun demo slot pragmatic

akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun slot demo pragmatic

akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun slot demo

akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun demo slot

akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

slot demo gacor

slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun demo slot gacor

akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun slot demo gacor

akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun demo slot pragmatic

akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun slot demo pragmatic

akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun slot demo

akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun demo slot

akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

situs slot terbaru

situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

slot terbaru

slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

lembagatoto88 permainan paling top dan garansi imbal balik hasil besar bersama lembagatoto88.com

lumbung888 permainan paling top dan garansi imbal balik hasil besar bersama lumbung888.biz

anadototo88 permainan paling top dan garansi imbal balik hasil besar bersama anadototo88.org

mataramtoto88 permainan paling top dan garansi imbal balik hasil besar bersama mataramtoto88.com

mawartoto88 permainan paling top dan garansi imbal balik hasil besar bersama mawartoto88.biz

maxim88 permainan paling top dan garansi imbal balik hasil besar bersama maxim88.org

mpovegas88 permainan paling top dan garansi imbal balik hasil besar bersama mpovegas88.com

nagacc88 permainan paling top dan garansi imbal balik hasil besar bersama nagacc88.com

neng88 permainan paling top dan garansi imbal balik hasil besar bersama neng88.biz

nibung888 permainan paling top dan garansi imbal balik hasil besar bersama nibung888.biz

paristogel88 permainan paling top dan garansi imbal balik hasil besar bersama paristogel88.info

ribut88 permainan paling top dan garansi imbal balik hasil besar bersama ribut88.net

sebat777 permainan paling top dan garansi imbal balik hasil besar bersama sebat777.info

sebat88 permainan paling top dan garansi imbal balik hasil besar bersama sebat88.info

singa88 permainan paling top dan garansi imbal balik hasil besar bersama singa88.biz

texas888 permainan paling top dan garansi imbal balik hasil besar bersama texas888.asia

vertu777 permainan paling top dan garansi imbal balik hasil besar bersama vertu777.org

wks88 permainan paling top dan garansi imbal balik hasil besar bersama wks88.org

wortel88 permainan paling top dan garansi imbal balik hasil besar bersama wortel88.net

yabos888 permainan paling top dan garansi imbal balik hasil besar bersama yabos888.net

yoktogel88 permainan paling top dan garansi imbal balik hasil besar bersama yoktogel88.asia

agam88 permainan paling top dan garansi imbal balik hasil besar bersama agam88.asia

bangkittoto permainan paling top dan garansi imbal balik hasil besar bersama bangkittoto.net

bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.com

bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.info

bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.net

bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.org

belanjatoto permainan paling top dan garansi imbal balik hasil besar bersama belanjatoto.org

bisnis88 permainan paling top dan garansi imbal balik hasil besar bersama bisnis88.biz

blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.com

blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.info

blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.net

blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.org

btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.com

btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.info

btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.net

btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.org

cendanatoto88 permainan paling top dan garansi imbal balik hasil besar bersama cendanatoto88.com

cupang88 permainan paling top dan garansi imbal balik hasil besar bersama cupang88.biz

cupangjp88 permainan paling top dan garansi imbal balik hasil besar bersama cupangjp88.com

danatoto88 permainan paling top dan garansi imbal balik hasil besar bersama danatoto88.biz

danatoto88slot permainan paling top dan garansi imbal balik hasil besar bersama danatoto88slot.net

davo888 permainan paling top dan garansi imbal balik hasil besar bersama davo888.biz

dewasurga888 permainan paling top dan garansi imbal balik hasil besar bersama dewasurga888.biz

dhx88 permainan paling top dan garansi imbal balik hasil besar bersama dhx88.biz

dingdongtogel88 permainan paling top dan garansi imbal balik hasil besar bersama dingdongtogel88.biz

egp888 permainan paling top dan garansi imbal balik hasil besar bersama egp888.biz

eropa88 permainan paling top dan garansi imbal balik hasil besar bersama eropa88.biz

forwin777 permainan paling top dan garansi imbal balik hasil besar bersama forwin777.biz

forwin88 permainan paling top dan garansi imbal balik hasil besar bersama forwin88.net

gacor222 permainan paling top dan garansi imbal balik hasil besar bersama gacor222.biz

galaxy777 permainan paling top dan garansi imbal balik hasil besar bersama galaxy777.asia

garuda88 permainan paling top dan garansi imbal balik hasil besar bersama garuda88.biz

gaul88 permainan paling top dan garansi imbal balik hasil besar bersama gaul88.biz

glowin888 permainan paling top dan garansi imbal balik hasil besar bersama glowin888.biz

gopay88 permainan paling top dan garansi imbal balik hasil besar bersama gopay88.biz

harum88 permainan paling top dan garansi imbal balik hasil besar bersama harum88.biz

harumtoto permainan paling top dan garansi imbal balik hasil besar bersama harumtoto.net

hiu88 permainan paling top dan garansi imbal balik hasil besar bersama hiu88.biz

hiutoto permainan paling top dan garansi imbal balik hasil besar bersama hiutoto.biz

hoki117 permainan paling top dan garansi imbal balik hasil besar bersama hoki117.net

ibetslot88 permainan paling top dan garansi imbal balik hasil besar bersama ibetslot88.biz

idhoki888 permainan paling top dan garansi imbal balik hasil besar bersama idhoki888.com

indosport999 permainan paling top dan garansi imbal balik hasil besar bersama indosport999.net

jackpot10 permainan paling top dan garansi imbal balik hasil besar bersama jackpot10.net

jago77 permainan paling top dan garansi imbal balik hasil besar bersama jago77.biz

jet88 permainan paling top dan garansi imbal balik hasil besar bersama jet88.biz

jinbei88 permainan paling top dan garansi imbal balik hasil besar bersama jinbei88.biz

juliet88 permainan paling top dan garansi imbal balik hasil besar bersama juliet88.org

kakekslot88 permainan paling top dan garansi imbal balik hasil besar bersama kakekslot88.asia

kenzo118 permainan paling top dan garansi imbal balik hasil besar bersama kenzo118.biz

kiw88 permainan paling top dan garansi imbal balik hasil besar bersama kiw88.biz

lazada88 permainan paling top dan garansi imbal balik hasil besar bersama lazada88.biz

mangga2bet88 permainan paling top dan garansi imbal balik hasil besar bersama mangga2bet88.com

mental88 permainan paling top dan garansi imbal balik hasil besar bersama mental88.org

nenektogel88 permainan paling top dan garansi imbal balik hasil besar bersama nenektogel88.com

obc88 permainan paling top dan garansi imbal balik hasil besar bersama obc88.net

parsel88 permainan paling top dan garansi imbal balik hasil besar bersama parsel88.com

pasar88 permainan paling top dan garansi imbal balik hasil besar bersama pasar88.biz

pilar100 permainan paling top dan garansi imbal balik hasil besar bersama pilar100.net

power88 permainan paling top dan garansi imbal balik hasil besar bersama power88.biz

pragmatic7777 permainan paling top dan garansi imbal balik hasil besar bersama pragmatic7777.com

pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.com

pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.info

pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.net

pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.org

premantoto88 permainan paling top dan garansi imbal balik hasil besar bersama premantoto88.com

pucuk88 permainan paling top dan garansi imbal balik hasil besar bersama pucuk88.biz

pucuktoto permainan paling top dan garansi imbal balik hasil besar bersama pucuktoto.biz

pusat88 permainan paling top dan garansi imbal balik hasil besar bersama pusat88.biz

raja228 permainan paling top dan garansi imbal balik hasil besar bersama raja228.biz

rajabandot88 permainan paling top dan garansi imbal balik hasil besar bersama rajabandot88.biz

rajapanen88 permainan paling top dan garansi imbal balik hasil besar bersama rajapanen88.net

rogtoto88 permainan paling top dan garansi imbal balik hasil besar bersama rogtoto88.net

sdtoto88 permainan paling top dan garansi imbal balik hasil besar bersama sdtoto88.biz

semangat88 permainan paling top dan garansi imbal balik hasil besar bersama semangat88.biz

sensasi555 permainan paling top dan garansi imbal balik hasil besar bersama sensasi555.net

sensasi88 permainan paling top dan garansi imbal balik hasil besar bersama sensasi88.biz

simenang88slot permainan paling top dan garansi imbal balik hasil besar bersama simenang88slot.com

slotter999 permainan paling top dan garansi imbal balik hasil besar bersama slotter999.net

slottoto88 permainan paling top dan garansi imbal balik hasil besar bersama slottoto88.org

Related posts

Memetakan jalan perlombaan AI untuk membantu memastikan pengembangan AGI yang aman | oleh GoodAI | Blog Institut Peta Jalan AI

admin82361IiJkd

Buku Pembelajaran Mesin Terbaik untuk mempelajari AI

admin82361IiJkd

Enam ditakuti mati dalam bencana udara tragis

admin82361IiJkd

PANEN96 promo