Technology News only at alphatechblocks.com
AI

Menjelaskan Neural Arithmetic Logic Unit (NALU)

Menjelaskan Neural Arithmetic Logic Unit (NALU)

Maka Deepmind merilis makalah baru beberapa hari lalu dengan judul Neural Arithmetic Logic Units (NALU). Setelah kemenangan AlphaGo melawan pemain Go top dunia, setiap makalah baru dari DeepMind hadir dengan kegembiraan dalam komunitas AI. Tapi kali ini semua ketidakjelasan itu benar-benar sepadan. Baiklah, lalu apa itu NALU dan apa tujuannya?

Mengapa kita membutuhkan NALU?

Jaringan Neural telah terbukti memiliki kemampuan luar biasa untuk mempelajari fungsi kompleks dari segala jenis data, baik itu angka, gambar, atau suara. Namun mereka mempunyai kelemahan yang signifikan: mereka tidak dapat menghitung. Yang saya maksud adalah mereka tidak dapat mengeluarkan nilai di luar rentang data pelatihan.

Misalnya, jika kita memiliki set pelatihan dengan rentang dari 0 hingga 100, outputnya juga akan berada di antara rentang yang sama. Tidak peduli fungsi aktivasi atau teknik optimasi apa yang kita gunakan, outputnya akan selalu berada dalam rentang tersebut. Jadi, jika kita ingin membangun counter dengan jaringan saraf, kita tidak bisa meneruskan data berikut ke dalamnya
(0,1,2,3,4,5) dan mengharapkan keluaran 6. Di bawah ini adalah grafik menarik yang menunjukkan hal itu:


Peneliti DeepMind mengembangkan unit logika aritmatika saraf (NALU)


(Unit Logika Aritmatika Neural)(https://arxiv.org/pdf/1808.00508.pdf) : MLP mempelajari fungsi identitas hanya untuk nilai rentang yang dilatihnya. Rata-rata kesalahan meningkat drastis baik di bawah maupun di atas kisaran angka yang terlihat selama pelatihan. Kredit: Trask dkk.

Apa itu NALU?

Anda dapat berargumen bahwa ini adalah batasan pembelajaran mendalam yang cukup signifikan dan saya setuju dengan Anda. Di sinilah NALU berperan. NALU menggunakan kombinasi gerbang yang cermat dan memperluas model Neural Accumulator (NAC). NAC sebenarnya merupakan transformasi linier dan dapat mengakumulasi input secara aditif.


Hasil gambar untuk Akumulator Neural


(Unit Logika Aritmatika Neural)(https://arxiv.org/pdf/1808.00508.pdf)

NALU memperluas fungsi penjumlahan dan pengurangan NAC dan dapat mewakili perkalian dan pembagian. Ini terdiri dari dua sel NAC (satu untuk penjumlahan dan satu untuk perkalian) yang diinterpolasi oleh gerbang sigmoidal yang dipelajari.


Hasil gambar untuk Unit Logika Aritmatika Syaraf


(Unit Logika Aritmatika Neural)(https://arxiv.org/pdf/1808.00508.pdf)


persamaan NALU


(Unit Logika Aritmatika Neural)(https://arxiv.org/pdf/1808.00508.pdf)

Jelas tidak mudah untuk menjelaskan mengapa gerbang memiliki struktur khusus ini karena ini merupakan hasil dari prinsip dan alat matematika yang rumit. Terima kasih kepada para peneliti. Namun, yang penting adalah unit-unit tersebut sekarang dapat digunakan dalam model apa pun yang dikenal mulai dari jaringan konvolusional hingga autoencoder dan meningkatkan kemampuannya. Contoh aplikasi praktis yang telah penulis teliti dan memberikan hasil yang menjanjikan adalah:

  • Pelajari fungsi Aritmatika Sederhana
  • Hitung berapa banyak karakter tulisan tangan yang muncul pada gambar
  • Terjemahkan ekspresi angka teks ke nilai numerik
  • Lacak Waktu di Lingkungan Dunia Grid

Untuk info lebih lanjut tentang hal di atas, silakan baca makalahnya. Dan Anda harus melakukannya karena kita sedang membicarakan beberapa hal menarik.

Implementasi dengan Python

Sekarang mari kita coba membuat NALU menggunakan Tensorflow dan Python dan uji sendiri seberapa baik kerjanya. Kami memiliki persamaannya, kami memiliki representasi grafis yang bagus. Seharusnya tidak terlalu sulit. Benar? Dan sebenarnya tidak.

Jika kita mengikuti ekspresi matematika yang muncul di atas, kita memiliki:

import tensorflow as tf

def NALU(prev_layer, num_outputs):

eps=1e-7

shape = (int(prev_layer.shape(-1)),num_outputs)

W_hat = tf.Variable(tf.truncated_normal(shape, stddev=0.02))

M_hat = tf.Variable(tf.truncated_normal(shape, stddev=0.02))

W = tf.tanh(W_hat) * tf.sigmoid(M_hat)

a = tf.matmul(prev_layer, W)

G = tf.Variable(tf.truncated_normal(shape, stddev=0.02))

m = tf.exp(tf.matmul(tf.log(tf.abs(prev_layer) + eps), W))

g = tf.sigmoid(tf.matmul(prev_layer, G))

out = g * a + (1 - g) * m

return out

Itu dia! Sekarang mari kita membangun jaringan saraf sederhana secara eksklusif dengan NALU dan menggunakannya untuk mempelajari fungsi matematika sederhana. Pertama mari kita buat beberapa data dummy untuk melatih dan menguji model kita:

arithmetic_functions=Halo

def get_data(N, op):

split = 4

X_train = np.random.rand(N, 10)*10

a = X_train(:, :split).sum(1)

b = X_train(:, split:).sum(1)

Y_train = op(a, b)(:, None)

print(X_train.shape)

print(Y_train.shape)

X_test = np.random.rand(N, 10)*100

a = X_test(:, :split).sum(1)

b = X_test(:, split:).sum(1)

Y_test = op(a, b)(:, None)

print(X_test.shape)

print(Y_test.shape)

return (X_train,Y_train),(X_test,Y_test)

Perhatikan bahwa set pengujian memiliki jangkauan yang jauh lebih besar daripada set kereta. Tujuan dari perbedaan tersebut adalah untuk menguji seberapa baik model dapat melakukan ekstrapolasi. Sekarang kita harus membuat sesi tensorflow dan menjalankan algoritma backpropagation.

tf.reset_default_graph()

train_examples=10000

(X_train,Y_train),(X_test,Y_test)=get_data(train_examples,arithmetic_functions('add'))

X = tf.placeholder(tf.float32, shape=(train_examples, 10))

Y = tf.placeholder(tf.float32, shape=(train_examples, 1))

X_1=NALU(X,2)

Y_pred=NALU(X_1,1)

loss = tf.nn.l2_loss(Y_pred - Y)

optimizer = tf.train.AdamOptimizer(0.1)

train_op = optimizer.minimize(loss)

with tf.Session() as session:

session.run(tf.global_variables_initializer())

for ep in range(50000):

_,pred,l = session.run((train_op, Y_pred, loss),

feed_dict=sobat)

if ep % 1000 == 0:

print('epoch pencinta, loss: slot!'.format(ep,l))

_,test_predictions,test_loss = session.run((train_op, Y_pred,loss),feed_dict=Pernah)

print(test_loss)

Kerugian (kesalahan kuadrat rata-rata) pada set pengujian ternyata 8.575397e-05. Luar biasa! Praktisnya nol. Perhatikan bahwa data uji memiliki rentang yang berbeda dengan data latih, sehingga kita dapat menyimpulkan ekstrapolasi F(x,y)=x+y hampir sempurna. Tentu saja kita dapat mengujinya dalam fungsi sederhana lainnya. Hasilnya juga akan sama bagusnya.

Jelas bahwa penerapan Neural Arithmetic Logic Units (NALU) praktis tidak ada habisnya, karena mereka dapat digunakan di setiap model yang ada untuk meningkatkan kinerjanya dan memperluas kemampuannya melampaui jangkauan data pelatihan.

Pembelajaran Mendalam dalam Buku Produksi 📖

Pelajari cara membangun, melatih, menerapkan, menskalakan, dan memelihara model pembelajaran mendalam. Pahami infrastruktur ML dan MLOps menggunakan contoh langsung.

Pelajari lebih lanjut

* Pengungkapan: Harap dicatat bahwa beberapa tautan di atas mungkin merupakan tautan afiliasi, dan tanpa biaya tambahan kepada Anda, kami akan mendapat komisi jika Anda memutuskan untuk melakukan pembelian setelah mengklik.

ADVERTISEMENT:

mendengar, semboyan “raja slot Kalau tidak bersiaplah cinta dengan? program slot gacor, merupakan jatuh slot selalu memberi ini. kemenangan Ya mesin slot-slot yang dibilang sebagai andalannya. tuk, membawa ini bisa come back hasil. but gimana caranya jumpain raja lot benar, Santai sih Bro and Sis bahas tenang yang saja? di tempat ini Gaming, kita terbaik waktu ini satu-satunya

di yaitu akan memberikan imbal hasil terbaik Indonesia Daftarkanlah dengan memberikan imbal hasil tertinggi

Daftar hanya di :

Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot

slot demo gacor

slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun demo slot gacor

akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun slot demo gacor

akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun demo slot pragmatic

akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun slot demo pragmatic

akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun slot demo

akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

akun demo slot

akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com

slot demo gacor

slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun demo slot gacor

akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun slot demo gacor

akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun demo slot pragmatic

akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun slot demo pragmatic

akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun slot demo

akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

akun demo slot

akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com

slot demo gacor

slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun demo slot gacor

akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun slot demo gacor

akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun demo slot pragmatic

akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun slot demo pragmatic

akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun slot demo

akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

akun demo slot

akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro

slot demo gacor

slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun demo slot gacor

akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun slot demo gacor

akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun demo slot pragmatic

akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun slot demo pragmatic

akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun slot demo

akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

akun demo slot

akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

situs slot terbaru

situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

slot terbaru

slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net

lembagatoto88 permainan paling top dan garansi imbal balik hasil besar bersama lembagatoto88.com

lumbung888 permainan paling top dan garansi imbal balik hasil besar bersama lumbung888.biz

anadototo88 permainan paling top dan garansi imbal balik hasil besar bersama anadototo88.org

mataramtoto88 permainan paling top dan garansi imbal balik hasil besar bersama mataramtoto88.com

mawartoto88 permainan paling top dan garansi imbal balik hasil besar bersama mawartoto88.biz

maxim88 permainan paling top dan garansi imbal balik hasil besar bersama maxim88.org

mpovegas88 permainan paling top dan garansi imbal balik hasil besar bersama mpovegas88.com

nagacc88 permainan paling top dan garansi imbal balik hasil besar bersama nagacc88.com

neng88 permainan paling top dan garansi imbal balik hasil besar bersama neng88.biz

nibung888 permainan paling top dan garansi imbal balik hasil besar bersama nibung888.biz

paristogel88 permainan paling top dan garansi imbal balik hasil besar bersama paristogel88.info

ribut88 permainan paling top dan garansi imbal balik hasil besar bersama ribut88.net

sebat777 permainan paling top dan garansi imbal balik hasil besar bersama sebat777.info

sebat88 permainan paling top dan garansi imbal balik hasil besar bersama sebat88.info

singa88 permainan paling top dan garansi imbal balik hasil besar bersama singa88.biz

texas888 permainan paling top dan garansi imbal balik hasil besar bersama texas888.asia

vertu777 permainan paling top dan garansi imbal balik hasil besar bersama vertu777.org

wks88 permainan paling top dan garansi imbal balik hasil besar bersama wks88.org

wortel88 permainan paling top dan garansi imbal balik hasil besar bersama wortel88.net

yabos888 permainan paling top dan garansi imbal balik hasil besar bersama yabos888.net

yoktogel88 permainan paling top dan garansi imbal balik hasil besar bersama yoktogel88.asia

agam88 permainan paling top dan garansi imbal balik hasil besar bersama agam88.asia

bangkittoto permainan paling top dan garansi imbal balik hasil besar bersama bangkittoto.net

bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.com

bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.info

bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.net

bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.org

belanjatoto permainan paling top dan garansi imbal balik hasil besar bersama belanjatoto.org

bisnis88 permainan paling top dan garansi imbal balik hasil besar bersama bisnis88.biz

blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.com

blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.info

blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.net

blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.org

btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.com

btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.info

btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.net

btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.org

cendanatoto88 permainan paling top dan garansi imbal balik hasil besar bersama cendanatoto88.com

cupang88 permainan paling top dan garansi imbal balik hasil besar bersama cupang88.biz

cupangjp88 permainan paling top dan garansi imbal balik hasil besar bersama cupangjp88.com

danatoto88 permainan paling top dan garansi imbal balik hasil besar bersama danatoto88.biz

danatoto88slot permainan paling top dan garansi imbal balik hasil besar bersama danatoto88slot.net

davo888 permainan paling top dan garansi imbal balik hasil besar bersama davo888.biz

dewasurga888 permainan paling top dan garansi imbal balik hasil besar bersama dewasurga888.biz

dhx88 permainan paling top dan garansi imbal balik hasil besar bersama dhx88.biz

dingdongtogel88 permainan paling top dan garansi imbal balik hasil besar bersama dingdongtogel88.biz

egp888 permainan paling top dan garansi imbal balik hasil besar bersama egp888.biz

eropa88 permainan paling top dan garansi imbal balik hasil besar bersama eropa88.biz

forwin777 permainan paling top dan garansi imbal balik hasil besar bersama forwin777.biz

forwin88 permainan paling top dan garansi imbal balik hasil besar bersama forwin88.net

gacor222 permainan paling top dan garansi imbal balik hasil besar bersama gacor222.biz

galaxy777 permainan paling top dan garansi imbal balik hasil besar bersama galaxy777.asia

garuda88 permainan paling top dan garansi imbal balik hasil besar bersama garuda88.biz

gaul88 permainan paling top dan garansi imbal balik hasil besar bersama gaul88.biz

glowin888 permainan paling top dan garansi imbal balik hasil besar bersama glowin888.biz

gopay88 permainan paling top dan garansi imbal balik hasil besar bersama gopay88.biz

harum88 permainan paling top dan garansi imbal balik hasil besar bersama harum88.biz

harumtoto permainan paling top dan garansi imbal balik hasil besar bersama harumtoto.net

hiu88 permainan paling top dan garansi imbal balik hasil besar bersama hiu88.biz

hiutoto permainan paling top dan garansi imbal balik hasil besar bersama hiutoto.biz

hoki117 permainan paling top dan garansi imbal balik hasil besar bersama hoki117.net

ibetslot88 permainan paling top dan garansi imbal balik hasil besar bersama ibetslot88.biz

idhoki888 permainan paling top dan garansi imbal balik hasil besar bersama idhoki888.com

indosport999 permainan paling top dan garansi imbal balik hasil besar bersama indosport999.net

jackpot10 permainan paling top dan garansi imbal balik hasil besar bersama jackpot10.net

jago77 permainan paling top dan garansi imbal balik hasil besar bersama jago77.biz

jet88 permainan paling top dan garansi imbal balik hasil besar bersama jet88.biz

jinbei88 permainan paling top dan garansi imbal balik hasil besar bersama jinbei88.biz

juliet88 permainan paling top dan garansi imbal balik hasil besar bersama juliet88.org

kakekslot88 permainan paling top dan garansi imbal balik hasil besar bersama kakekslot88.asia

kenzo118 permainan paling top dan garansi imbal balik hasil besar bersama kenzo118.biz

kiw88 permainan paling top dan garansi imbal balik hasil besar bersama kiw88.biz

lazada88 permainan paling top dan garansi imbal balik hasil besar bersama lazada88.biz

mangga2bet88 permainan paling top dan garansi imbal balik hasil besar bersama mangga2bet88.com

mental88 permainan paling top dan garansi imbal balik hasil besar bersama mental88.org

nenektogel88 permainan paling top dan garansi imbal balik hasil besar bersama nenektogel88.com

obc88 permainan paling top dan garansi imbal balik hasil besar bersama obc88.net

parsel88 permainan paling top dan garansi imbal balik hasil besar bersama parsel88.com

pasar88 permainan paling top dan garansi imbal balik hasil besar bersama pasar88.biz

pilar100 permainan paling top dan garansi imbal balik hasil besar bersama pilar100.net

power88 permainan paling top dan garansi imbal balik hasil besar bersama power88.biz

pragmatic7777 permainan paling top dan garansi imbal balik hasil besar bersama pragmatic7777.com

pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.com

pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.info

pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.net

pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.org

premantoto88 permainan paling top dan garansi imbal balik hasil besar bersama premantoto88.com

pucuk88 permainan paling top dan garansi imbal balik hasil besar bersama pucuk88.biz

pucuktoto permainan paling top dan garansi imbal balik hasil besar bersama pucuktoto.biz

pusat88 permainan paling top dan garansi imbal balik hasil besar bersama pusat88.biz

raja228 permainan paling top dan garansi imbal balik hasil besar bersama raja228.biz

rajabandot88 permainan paling top dan garansi imbal balik hasil besar bersama rajabandot88.biz

rajapanen88 permainan paling top dan garansi imbal balik hasil besar bersama rajapanen88.net

rogtoto88 permainan paling top dan garansi imbal balik hasil besar bersama rogtoto88.net

sdtoto88 permainan paling top dan garansi imbal balik hasil besar bersama sdtoto88.biz

semangat88 permainan paling top dan garansi imbal balik hasil besar bersama semangat88.biz

sensasi555 permainan paling top dan garansi imbal balik hasil besar bersama sensasi555.net

sensasi88 permainan paling top dan garansi imbal balik hasil besar bersama sensasi88.biz

simenang88slot permainan paling top dan garansi imbal balik hasil besar bersama simenang88slot.com

slotter999 permainan paling top dan garansi imbal balik hasil besar bersama slotter999.net

slottoto88 permainan paling top dan garansi imbal balik hasil besar bersama slottoto88.org

Related posts

Pembelajaran Deep Q dan Jaringan Deep Q

admin82361IiJkd

Segmentasi gambar Medis 3D dengan tutorial transformator

admin82361IiJkd

OpenAI’s 1-800-CHATGPT: Redefining Access to AI Conversations

admin82361IiJkd

PANEN96 promo