Cara menggunakan uWSGI dan Nginx untuk menyajikan model Pembelajaran Mendalam

Mempersiapkan posisi Machine Learning Engineer? Artikel ini ditulis untuk Anda! Mengapa?

Karena kami akan membangun prototipe Flask dan menciptakan layanan yang berfungsi penuh dan terukur. Secara khusus, kami akan menyiapkan aplikasi Pembelajaran Mendalam yang dilayani oleh uWSGI Dan Nginx. Kami akan menjelajahi semuanya langkah demi langkah: mulai dari cara memulai dari aplikasi Flask sederhana, hingga menghubungkannya uWSGI untuk bertindak sebagai server web lengkap, dan menyembunyikannya di belakang Nginx (sebagai proksi terbalik) untuk memberikan penanganan koneksi yang lebih kuat. Semua ini akan dilakukan di atas proyek pembelajaran mendalam yang kami buat sejauh ini yang melakukan segmentasi semantik pada gambar menggunakan model Unet khusus dan Tensorflow.

Hingga saat ini dalam seri ini, kami telah menggunakan notebook colab, mengonversinya menjadi proyek yang sangat optimal dengan pengujian unit dan peningkatan kinerja, melatih model di Google cloud, dan mengembangkan prototipe Flask sehingga dapat disajikan kepada pengguna.

Kami akan menyempurnakan prototipe Flask ini dan membangun layanan yang berfungsi penuh dan terukur.

Apa itu uWSGI?

Menurut situs resmi:

uWSGI adalah server aplikasi yang bertujuan untuk menyediakan tumpukan penuh untuk mengembangkan dan menerapkan aplikasi dan layanan web.

Seperti kebanyakan server aplikasi, server ini tidak bergantung pada bahasa tetapi penggunaannya yang paling populer adalah untuk melayani aplikasi Python. uWSGI dibangun di atas spesifikasi WSGI dan berkomunikasi dengan server lain melalui protokol tingkat rendah yang disebut uwsgi.

Oke, ini sangat membingungkan dan kita perlu memperjelasnya, jadi mari kita mulai dengan beberapa definisi.

• WSGI (Antarmuka Gerbang Server Web): An antarmuka spesifikasi yang mendefinisikan komunikasi antara server web dan aplikasi web. Secara sederhana, ini memberi tahu kita metode apa yang harus diterapkan untuk meneruskan permintaan dan respons bolak-balik antara server dan aplikasi. Ini pada dasarnya adalah antarmuka API yang digunakan untuk membakukan komunikasi dan merupakan bagian dari perpustakaan standar Python.

• uWSGI: Sebuah aplikasi server yang berkomunikasi dengan aplikasi berdasarkan spesifikasi WSGI dan dengan server web lain melalui berbagai protokol lain (seperti HTTP). Seringkali ia bertindak seperti middleware karena menerjemahkan permintaan dari server web konvensional ke dalam format yang dapat dimengerti oleh aplikasi (WSGI)

• uwsgi: tingkat rendah/biner protokol yang memungkinkan komunikasi antar server web. uwsgi adalah protokol kabel yang telah diterapkan oleh server uWSGI sebagai cara pilihannya untuk berbicara dengan server web lain dan instance uWSGI. Intinya, ini mendefinisikan format data yang dikirim antara server dan instance.

Mari kita lihat gambaran keseluruhannya sekarang: Perangkat lunak kita diekspos ke aplikasi web menggunakan Flask. Aplikasi ini akan disajikan menggunakan server uWSGI dan akan berkomunikasi dengannya menggunakan spesifikasi WSGI. Selain itu, server uWSGI sekarang akan disembunyikan di belakang server web lain (dalam kasus kami Nginx) yang akan berkomunikasi menggunakan protokol uwsgi. Apakah ini masuk akal? Serius, saya tidak tahu mengapa mereka menamai semua ini dengan inisial yang sama!

Jika saya jadi Anda, saya masih memiliki dua pertanyaan lagi.

Mengapa kita memerlukan server uWSGI terlebih dahulu (apakah Flask tidak cukup?) dan mengapa kita memerlukan server web lain seperti Nginx di depan uWSGI?

Dan keduanya valid.

Mengapa kita membutuhkan uWSGI? Bukankah Flask memadai?

Meskipun Flask dapat bertindak sebagai server web HTTP, Flask tidak dikembangkan dan dioptimalkan keamanan, skalabilitasDan efisiensi. Ini lebih merupakan kerangka kerja untuk membangun aplikasi web seperti yang dijelaskan di artikel sebelumnya. uWSGI di sisi lain dibuat sebagai server web yang berfungsi penuh dan memecahkan banyak masalah yang bahkan tidak disentuh oleh Flask.

Contohnya adalah:

• Manajemen proses: menangani pembuatan dan pemeliharaan beberapa proses sehingga kita dapat memiliki aplikasi secara bersamaan dalam satu lingkungan, dan mampu menskalakan ke banyak pengguna.

• Kekelompokan: dapat digunakan dalam sekelompok instance

• Penyeimbangan beban: ini menyeimbangkan beban permintaan ke proses yang berbeda

• Pemantauan: ini menyediakan fungsionalitas luar biasa untuk memantau kinerja dan pemanfaatan sumber daya

• Keterbatasan sumber daya: dapat dikonfigurasi untuk membatasi penggunaan CPU dan memori hingga titik tertentu

• Konfigurasi: ia memiliki beragam opsi yang dapat dikonfigurasi yang memberi kita kendali penuh atas pelaksanaannya

Karena itu, mari kita periksa alat berikutnya: Nginx.

Apa itu Nginx dan mengapa kita membutuhkannya?

Nginx adalah server web berkinerja tinggi, sangat skalabel, dan sangat tersedia (sangat banyak di sini). Ini bertindak sebagai penyeimbang beban, proksi terbalik, dan mekanisme caching. Itu juga dapat digunakan untuk menyajikan file statis, untuk memberikan keamanan dan enkripsi pada permintaan, untuk membatasi lajunya dan seharusnya dapat menangani lebih dari sekadar 10.000 koneksi simultan (sebenarnya menurut pengalaman saya, ini bukan asumsi). Ini pada dasarnya adalah uWSGI pada steroid.

Nginx sangat populer dan merupakan bagian dari tumpukan teknologi banyak perusahaan besar. Jadi mengapa kita harus menggunakannya di depan uWSGI? Alasan utamanya adalah kami hanya menginginkan yang terbaik dari kedua dunia. Kami menginginkan fitur uWSGI yang khusus untuk Python, tetapi kami juga menyukai semua fungsi tambahan yang disediakan Nginx. Oke, jika kami tidak mengharapkan aplikasi kami diperluas ke jutaan pengguna, itu mungkin tidak diperlukan, tetapi dalam rangkaian artikel ini, inilah tujuan akhir kami. Ditambah lagi, ini adalah pengetahuan yang sangat berguna untuk dimiliki sebagai Machine Learning Engineer. Tidak ada yang mengharapkan kita menjadi ahli, tetapi mengetahui dasar-dasarnya tidak akan merugikan kita.

Dalam contoh ini, kita akan menggunakan Nginx sebagai reverse proxy di depan uWSGI. Proksi terbalik hanyalah sebuah sistem yang meneruskan semua permintaan dari web ke server web kami dan sebaliknya. Ini adalah satu titik komunikasi dengan dunia luar dan dilengkapi dengan beberapa fitur yang sangat berguna. Pertama-tama, ini dapat menyeimbangkan beban jutaan permintaan dan mendistribusikan lalu lintas secara merata di banyak instans uWSGI. Kedua, memberikan tingkat keamanan yang dapat mencegah serangan dan menggunakan enkripsi dalam komunikasi. Yang terakhir, ini juga dapat menyimpan konten dan tanggapan dalam cache sehingga menghasilkan kinerja yang lebih cepat.

Saya harap Anda sudah yakin sekarang. Tapi cukup dengan teorinya. Saya pikir inilah waktunya untuk mengotori tangan kita dan melihat bagaimana semua hal ini dapat dikonfigurasi dalam praktik.

Siapkan server uWSGI dengan Flask

Pada artikel sebelumnya, kami mengembangkan aplikasi Flask. Ia menerima gambar sebagai permintaan, memprediksi masker segmentasinya menggunakan model Tensorflow Unet yang kami buat, dan mengembalikannya ke klien.

import os
import traceback
from flask import Flask, jsonify, request
from executor.unet_inferrer import UnetInferrer
app = Flask(__name__)
APP_ROOT = os.getenv('APP_ROOT', '/infer')
HOST = "0.0.0.0"
PORT_NUMBER = int(os.getenv('PORT_NUMBER', 8080))
u_net = UnetInferrer()
@app.route(APP_ROOT, methods=("POST"))
def infer():
    data = request.json
    image = data('image')
    return u_net.infer(image)
@app.errorhandler(Exception)
def handle_exception(e):
    return jsonify(stackTrace=traceback.format_exc())
if __name__ == '__main__':
    app.run(host=HOST, port=PORT_NUMBER)

Kode di atas akan tetap utuh karena untuk memanfaatkan uWSGI, kita hanya perlu menjalankan beberapa langkah kecil di atas aplikasi Flask.

Setelah menginstal uWSGI dengan pip,

pip install uwsgi

kita cukup menjalankan sebuah instance dengan perintah berikut:

uwsgi --http 0.0.0.0:8080  --wsgi-file service.py --callable app

Ini memberitahu uWSGI untuk menjalankan server di 0.0.0.0 dan port 8080 menggunakan aplikasi yang terletak di file service.py, yang merupakan tempat kode Flask kita berada. Kita juga perlu menyediakan parameter callable (harus berupa fungsi) yang bisa dipanggil menggunakan spesifikasi WSGI. Dalam kasus kami, ini adalah instance Flask yang kami buat dan ikat semua rutenya.

app = Flask(__name__)

Saat kita menekan enter, server uWSGI lengkap akan muncul dan kita dapat mengaksesnya di localhost kita.

Ini sungguh mudah! Dan tentu saja, jika kita menjalankan skrip klien yang kita buat di artikel sebelumnya, skrip tersebut akan mengenai server uWSGI dan mengembalikan topeng segmentasi Yorkshire terrier kecil kita.

Tip: Perhatikan bahwa alih-alih meneruskan semua parameter menggunakan baris perintah, kita bisa melakukannya buat file konfigurasi sederhana dan membuat server membaca langsung darinya.

Faktanya, ini biasanya merupakan cara yang lebih disukai, terutama karena nanti kita akan menyebarkan server di cloud dan lebih mudah mengubah opsi konfigurasi daripada mengubah perintah terminal.

Contoh file konfigurasi (app.ini) dapat terlihat seperti ini:

(uwsgi)
http = 0.0.0.0:8080
module = app.service
callable = app
die-on-term = true
chdir = /home/aisummer/src/soft_eng_for_dl/
virtualenv = /home/aisummer/miniconda3/envs/Deep-Learning-Production-Course/
processes = 1
master = false
vacuum = true

Di sini kita mendefinisikan URL “http” dan “callable” seperti sebelumnya dan kita menggunakan opsi “modul” untuk menunjukkan di mana modul python dengan aplikasi kita berada. Selain itu, kita perlu menentukan beberapa hal lain untuk menghindari kesalahan konfigurasi server seperti jalur direktori lengkap aplikasi (“chdir”) serta jalur lingkungan virtual (jika kita menggunakannya).

Perhatikan juga bahwa kita tidak menggunakan multiprosesing di sini (proses=1) dan kita hanya memiliki proses master (lebih lanjut tentang proses di dokumen). “die-on-term” adalah opsi praktis yang memungkinkan kita mematikan server dari terminal dan “vakum” memerintahkan uWSGI untuk membersihkan file dihasilkan yang tidak digunakan secara berkala.

Mengonfigurasi server uWSGI tidaklah mudah dan perlu diperiksa dengan cermat karena ada begitu banyak opsi dan banyak parameter yang perlu dipertimbangkan. Di sini saya tidak akan menganalisis lebih lanjut semua opsi dan detail yang berbeda tetapi saya sarankan untuk mencarinya di dokumen resmi. Seperti biasa kami akan memberikan tautan tambahan di bagian akhir.

Untuk mengeksekusi server, kita dapat melakukan:

uwsgi app.ini

Hubungkan Nginx sebagai proxy terbalik

Tugas berikutnya dalam daftar tugas adalah menyambungkan server Nginx yang juga semudah membuat file konfigurasi.

Pertama kita install menggunakan “apt-get install”

sudo apt-get install nginx

Selanjutnya, kita ingin membuat file konfigurasi yang harus berada di dalam direktori “/etc/nginx/sites-available” (jika Anda menggunakan Linux) dan harus diberi nama sesuai aplikasi kita.

sudo nano /etc/nginx/sites-available/service.conf

Kemudian kita membuat file konfigurasi yang sangat sederhana yang hanya berisi minimum absolut untuk menjalankan proxy. Sekali lagi, untuk mengetahui semua opsi konfigurasi yang tersedia, pastikan untuk memeriksa dokumentasi resmi.

server dengan

Di sini kami memberitahu Nginx untuk mendengarkan port default 80 untuk permintaan yang datang dari server yang terletak di 0.0.0.0 Blok lokasi mengidentifikasi semua permintaan yang datang dari web ke server uWSGI dengan memasukkan “uwsgi_params” yang menentukan semua parameter umum uWSGI, dan “uwsgi_pass” untuk meneruskannya ke soket yang ditentukan.

Soket apa yang mungkin membuat Anda bertanya-tanya? Kami belum membuat soket. Itu benar. Itu sebabnya kita perlu mendeklarasikan soket di file konfigurasi uWSGI kita dengan menambahkan 2 baris berikut:

socket = service.sock
chmod-socket = 660

Ini menginstruksikan server untuk mendengarkan pada soket 660. Dan ingat bahwa Nginx berbicara dengan Anda uWSGI melalui soket menggunakan protokol uwsgi.

Stopkontak: Soket web adalah koneksi aman dua arah yang memungkinkan sesi komunikasi interaktif dua arah antara pengguna dan klien. Dengan cara itu kita dapat mengirim pesan ke server dan menerima respons berdasarkan peristiwa tanpa harus melakukan polling ke server untuk mendapatkan balasan.

Terakhir, kami mengaktifkan konfigurasi di atas dengan menjalankan perintah di bawah ini yang menghubungkan konfigurasi kami di direktori “sites-available” dengan direktori “sites-enabled”

sudo ln -s /etc/nginx/sites-available/service /etc/nginx/sites-enabled

Dan kami memulai Nginx

sudo nginx -t

Jika semuanya berjalan dengan baik, kita akan melihat aplikasi kita di localhost dan kita dapat menggunakan klien kita sekali lagi untuk memverifikasi bahwa semuanya berfungsi seperti yang diharapkan.

Kesimpulan

Kami menggunakan uWSGI untuk membuat server dari aplikasi Flask kami dan kami menyembunyikan server di belakang proxy terbalik Nginx untuk menangani hal-hal seperti keamanan dan penyeimbangan beban. Hasilnya, kami secara resmi memiliki aplikasi Pembelajaran Mendalam yang dapat diperluas ke jutaan pengguna tanpa masalah. Dan bagian terbaiknya adalah ia dapat diterapkan persis seperti yang ada di cloud dan digunakan oleh pengguna saat ini. Atau Anda dapat mengatur server Anda sendiri di ruang bawah tanah Anda tetapi saya sarankan untuk tidak melakukan itu.

Karena dari semua langkah dan optimasi yang kami lakukan, kami dapat yakin dengan kinerja aplikasi kami. Jadi, kita tidak perlu terlalu khawatir tentang hal-hal seperti latensi, efisiensi, keamanan. Dan untuk membuktikan bahwa hal ini benar di artikel berikutnya, kami akan menerapkan aplikasi Deep Learning kami di Google cloud menggunakan Docker Containers dan Kubernetes. Tidak sabar untuk melihatmu di sana.

Sebagai materi tambahan, saya sangat menyarankan kursus TensorFlow: Spesialisasi Teknik Tingkat Lanjut oleh deeplearning.ai yang diselenggarakan di Coursera, yang akan memberi Anda pemahaman dasar tentang Tensorflow

Selamat tinggal…

Sumber daya

* Pengungkapan: Harap dicatat bahwa beberapa tautan di atas mungkin merupakan tautan afiliasi, dan tanpa biaya tambahan kepada Anda, kami akan mendapat komisi jika Anda memutuskan untuk melakukan pembelian setelah mengklik.