GPU cloud di Jakarta: NVIDIA RTX PRO 6000 Blackwell dan L40S

    Diperbarui:

    IONext menyewakan GPU NVIDIA RTX PRO 6000 Blackwell Server Edition 96GB dan NVIDIA L40S 48GB yang berada di Jakarta, Indonesia. GPU tersedia sebagai GPU dedicated, virtual machine GPU, atau melalui managed inference dengan API yang kompatibel dengan OpenAI.

    GPU apa saja yang tersedia di IONext?

    Sumber spesifikasi: halaman produk resmi NVIDIA untuk RTX PRO 6000 Blackwell Server Edition dan L40S.

    NVIDIA RTX PRO 6000 Blackwell Server Edition NVIDIA L40S
    Arsitektur NVIDIA Blackwell NVIDIA Ada Lovelace
    Memori GPU 96 GB GDDR7 48 GB GDDR6 dengan ECC
    Bandwidth memori 1.597 GB/s 864 GB/s
    Antarmuka PCIe Gen5 PCIe Gen4 x16
    Multi-Instance GPU (MIG) Ya, hingga 4 instance terisolasi Tidak
    Daya maksimum Hingga 600 W 350 W
    Encoder dan decoder video 4 NVENC, 4 NVDEC 3 NVENC, 3 NVDEC (termasuk AV1)

    Model AI sebesar apa yang muat di tiap GPU?

    Kebutuhan memori GPU untuk bobot model kira-kira sama dengan jumlah parameter dikali ukuran per parameter: 2 byte pada FP16/BF16, 1 byte pada FP8, dan sekitar 0,5 byte pada kuantisasi 4-bit. Sisakan ruang tambahan untuk KV cache, yang membesar seiring panjang konteks dan jumlah permintaan bersamaan.

    Ukuran model Bobot FP16 Bobot FP8 1x RTX PRO 6000 (96 GB) 1x L40S (48 GB)
    8B sekitar 16 GB sekitar 8 GB Muat Muat
    31B (misalnya Gemma4-31B) sekitar 62 GB sekitar 31 GB Muat di FP16 Muat di FP8
    27B (misalnya Qwen3.8-27B) sekitar 54 GB sekitar 27 GB Muat di FP16 Muat di FP8
    70B sekitar 140 GB sekitar 70 GB Muat di FP8 Perlu 2 GPU di FP8
    Di atas 200B (misalnya DeepSeek-V4-Flash, 304B) di atas 400 GB di atas 200 GB Perlu beberapa GPU Perlu beberapa GPU

    Tabel ini perkiraan memori bobot saja, bukan ukuran kecepatan. Untuk sizing yang tepat sesuai beban kerja, IONA di dalam ORBIT merekomendasikan ukuran VM dan model berdasarkan kasus penggunaan.

    Kapan memilih RTX PRO 6000 Blackwell, dan kapan L40S?

    Pilih RTX PRO 6000 Blackwell untuk model di atas 30B parameter dalam presisi penuh, konteks panjang, fine-tuning, atau saat satu GPU perlu dibagi ke beberapa beban kerja terisolasi dengan MIG. Memori 96 GB mengurangi kebutuhan memecah model ke beberapa GPU.

    Pilih L40S untuk model hingga sekitar 30B parameter dengan kuantisasi, computer vision, pemrosesan video (encoder dan decoder AV1), serta inference yang kebutuhan memorinya muat di 48 GB.

    Bagaimana cara menyewa GPU di IONext?

    1. GPU dedicated. Satu atau lebih GPU dialokasikan khusus untuk satu pelanggan, cocok untuk beban kerja produksi yang stabil dan fine-tuning.
    2. Virtual machine GPU. VM dengan GPU terpasang, dibuat dan dipantau dari ORBIT bersama VM, storage, dan pipeline lainnya.
    3. Managed inference. Tanpa mengelola GPU sama sekali: panggil model open-weight melalui satu endpoint yang kompatibel dengan OpenAI.

    Harga tidak dipublikasikan dan disusun sesuai kebutuhan. Semua tagihan dalam Rupiah. Minta penawaran atau sesi sizing. System integrator yang melakukan sizing untuk proyek klien bisa bergabung lewat Program Mitra IONext.

    Infrastruktur apa yang mendukung GPU tersebut?

    • Storage: klaster Ceph dengan kapasitas usable sekitar 200 TB (replikasi 3x), ditambah node penyimpanan NVMe. Tersedia sebagai object storage yang kompatibel dengan S3 dan block storage, seluruhnya di Indonesia.
    • Jaringan: fabric data center 25 GbE dan 100 GbE, Virtual Private Cloud, managed load balancer.
    • Keamanan: Web Application Firewall, anti-DDoS, audit trail, backup dan disaster recovery. Detail sertifikasi di halaman Keamanan dan Kepatuhan.
    • Orkestrasi: virtual machine dan managed Kubernetes.

    Pertanyaan umum

    Di mana GPU IONext berada? Di Jakarta, Indonesia. Data dan beban kerja pelanggan diproses di infrastruktur ini dan tidak dikirim ke luar negeri.

    Apakah bisa menyewa GPU dedicated? Ya. IONext menyediakan GPU dedicated RTX PRO 6000 Blackwell dan L40S untuk satu pelanggan.

    Apakah harga GPU IONext dipublikasikan? Tidak. Penawaran disusun sesuai jenis GPU, jumlah, dan durasi, dengan tagihan dalam Rupiah.

    Apakah IONext mendukung MIG? RTX PRO 6000 Blackwell Server Edition mendukung Multi-Instance GPU hingga 4 instance terisolasi. L40S tidak mendukung MIG.

    Profil perusahaan dan tim pimpinan ada di halaman Tentang IONext.

    IONext adalah infrastruktur AI berdaulat yang di-host di Indonesia, dioperasikan oleh PT Data Awan Nusantara di Jakarta. IONext menyediakan GPU as a Service, managed inference melalui API yang kompatibel dengan OpenAI, dan hosting model open-weight, bersertifikat ISO/IEC 27001:2022 oleh TÜV NORD Indonesia.