Mengakses Data Web dengan urllib Python: Panduan Praktis

Mengakses Data Web dengan urllib Python

Apa itu urllib?

urllib adalah modul bawaan Python yang menyederhanakan pembuka URL dan penanganan sumber daya web. Ia menawarkan fungsi dan kelas untuk mengambil, memparsing, dan memproses URL, memungkinkan pengembang mengambil XML, HTML, JSON, dan format data lainnya langsung dari internet.

Dalam tutorial ini kita akan demonstrasi cara menggunakan urllib untuk:

• Membuka URL dan memeriksa kode respons HTTP.
• Membaca konten HTML penuh dari halaman web.

Membuka URL dengan urllib

Sebelum mengeksekusi permintaan jaringan apa pun, impor modul urllib yang sesuai:

import urllib.request # Python 3 # import urllib2 # Python 2 (deprecated in newer releases)

Definisikan rutinitas utama Anda, tentukan URL target, dan buka koneksi dengan urlopen(). Kita akan menggunakan channel YouTube Guru99 sebagai contoh:

def main(): url = urllib.request.urlopen("https://www.youtube.com/user/guru99com") print("result code: " + str(url.getcode())) data = url.read() print(data.decode('utf-8')) if __name__ == "__main__": main()

Metode getcode() mengembalikan kode status HTTP (misalnya, 200 untuk sukses). Metode read() mengambil byte mentah halaman, yang kita dekode ke UTF-8 untuk keterbacaan.

Membaca Konten HTML

Setelah URL terbuka, Anda dapat mengekstrak HTML dengan memanggil read(). Byte yang dihasilkan mewakili dokumen HTML keseluruhan, yang kemudian dapat Anda parsing dengan perpustakaan seperti BeautifulSoup atau tampilkan langsung.

Di bawah ini adalah contoh visual dari output HTML yang didekode di konsol:

Contoh Kode Lengkap

Untuk referensi, bagian berikut menyediakan skrip lengkap untuk lingkungan Python 2 dan Python 3.

Contoh Python 2

import urllib2 def main(): web_url = urllib2.urlopen("https://www.youtube.com/user/guru99com") print("result code: " + str(web_url.getcode())) data = web_url.read() print(data) if __name__ == "__main__": main()

Contoh Python 3

import urllib.request web_url = urllib.request.urlopen('https://www.youtube.com/user/guru99com') print('result code: ' + str(web_url.getcode())) print(web_url.read().decode('utf-8'))