TOP

Mengelola Proxy

Proxy merupakan bagian paling penting pada web crawling. Ya, Anda bisa melakukan konfigurasi pada Delay Settings atau Cache Settings to untuk menghindari IP ban. Tetapi itu tidak akan membantu terlalu banyak terutama ketika software mengirim request ke web server secara masif.

Secara teknis, proxy akan menyembunyikan alamat IP asli Anda. Tentu ini akan membantu Anda bypass IP rate limiting pada situs populer seperti Google atau Wikipedia. Proxy juga bisa digunakan untuk bypass IP restriction.

Setelah Anda memasukkan dan menetapkan proxy di TLDrop ke servis tertentu, software akan merotasi proxy tersebut pada setiap request secara otomatis.

Tipe Proxy yang Didukung

Agar proxy Anda bekerja dengan baik, Anda mungkin harus mengetahui protokolnya. Akan tetapi, jika Anda tidak yakin cukup tetapkan protokolnya menjadi SOCKS5.

TipePenjelasan
HTTP (S)

Menggunakan one-way request untuk mengambil data pada laman web. Umumnya, tipe proxy ini sering digunakan untuk browsing.

Port standarnya adalah 80, 8080, 3128.

SOCKS5

Bekerja dengan cara merutekan traffic melalui server pihak ketiga dengan TCP. Tipe proxy ini juga menawarkan tingkat anonimitas yang lebih tinggi.

Port standarnya adalah 1080, 1081.

SOCKS4

Sama seperti SOCKS5 tetapi tidak mendukung otorisasi dan UDP.

SOCKS4a

Ekstensi atau improvisasi SOCKS4

Rekomendasi Proxy Provider

Akan lebih baik jika Anda memiliki dedicated atau private proxies. Keuntungan utamanya adalah koneksi menjadi lebih cepat daripada shared atau free proxies. Dengan kata lain, proxy ini benar-benar milik Anda dan tidak dibagikan dengan orang lain.

Dibawah ini adalah provider dedicated proxy yang bisa kami rekomendasikan, mereka dapat diandalkan dan memiliki support yang bagus.

Kami tidak merekomendasikan Anda untuk menggunakan proxy gratis. Tetapi jika Anda ingin tetap menggunakannya, kami merekomendasikan Anda mengambil proxy dari beberapa sumber berikut.

Menambahkan Proxy

Klik tombol Add or Import, dialog baru akan muncul meminta Anda untuk memasukkan list proxy yang dipisahkan dengan baris. Format per-baris harus host:port atau host:port:username:password.

127.0.0.0:8080
127.0.0.0:8080:user:pass

Anda juga bisa mengimpor proxy dar text file dengan cara klik link open from text file. Kemudian, Anda perlu menentukan protokol atau tipenya (lihat tabel Tipe Proxy yang Didukung). Jika Anda tidak yakin, set menjadi SOCKS5. Terakhir klik tombol Done.

Mengedit Proxy

Cukup double click proxy yang ingin diedit kemudian tetapkan nilai baru.

Editing proxy in TLDrop

Menetapkan Proxy

Anda tidak bisa menggunakan proxy yang dimasukkan sampai Anda menetapkannya. Navigasikan ke tab Proxy Usage, servis yang dicentang akan menggunakan proxy yang Anda masukkan ketika mulai bekerja.

ServisDetail
Web CrawlerGunakan proxy ketika merayapi halaman web
Search Engine CrawlerGunakan proxy ketika merayapi halaman pencarian Search Engine
Domain Vanity ServiceGunakan proxy ketika membuat request ke server WHOIS, akan digukanan ketika mengecek ketersediaan domain
Web 2.0 Vanity ServiceGunakan proxy ketika mengecek ketersediaan Web 2.0 (tidak direkomendasikan)
Statistic ServiceGunakan proxy ketika mengecek metrik domain (tidak direkomendasikan)