Computer Vision untuk Retail dan FMCG: Audit Rak dan Kepatuhan Planogram dari Foto Lapangan

Audit rak dari foto lapangan bisa diotomatiskan dengan model object detection yang mengenali produk, lalu mesin aturan yang membandingkan hasilnya dengan planogram. Seluruh pipeline ini bisa berjalan di Jakarta, jadi foto toko, data toko, dan model hasil fine-tuning tidak perlu keluar Indonesia.

Status: pola arsitektur yang bisa dibangun di IONext, bukan laporan proyek. System integrator dan software house boleh memakai arsitektur dan checklist di halaman ini untuk proposal mereka sendiri.

Masalah apa yang diselesaikan audit rak otomatis?

Audit rak otomatis mengubah foto rak dari tim lapangan menjadi data terstruktur: produk apa yang ada, berapa facing, di baris mana, dan apakah posisinya sesuai planogram. Tanpa otomasi, foto hanya menumpuk sebagai bukti kunjungan. Supervisor tidak sempat memeriksa satu per satu, jadi masalah stok kosong dan pelanggaran planogram baru ketahuan saat penjualan sudah turun.

Brand FMCG membayar untuk posisi rak, display, dan promo di toko. Tim trade marketing perlu tahu apakah kesepakatan itu benar-benar dijalankan. Pemeriksaan manual lambat dan hasilnya berbeda antar-auditor. Model computer vision memberi ukuran yang konsisten untuk setiap foto, lalu manusia cukup memeriksa kasus yang ragu.

Seperti apa arsitekturnya di IONext?

Arsitekturnya terdiri dari tujuh step: capture di aplikasi, penyimpanan di object storage Jakarta, pre-processing dan masking, deteksi produk di GPU, pengenalan SKU, perbandingan dengan planogram, lalu review manusia untuk kasus dengan confidence rendah. Step kedua sampai ketujuh berjalan di Jakarta dan dikelola dari workspace ORBIT, sementara IONA membaca sinyal production setelah go-live.

1. Capture. Aplikasi lapangan milik klien memotret rak dan langsung mengecek kualitas foto di device: blur, terlalu gelap, atau sudut terlalu miring. Foto yang gagal diminta ulang saat sales masih di toko.
2. Ingest. Foto masuk ke object storage S3-compatible IONext di Jakarta, bersama metadata kunjungan: ID toko, ID planogram, waktu.
3. Pre-processing. Service milik SI di VM ORBIT menyamakan ukuran foto, membuang duplikat, menghapus metadata EXIF yang tidak perlu, dan mem-blur wajah yang ikut terfoto sebelum foto diproses lebih lanjut.
4. Deteksi produk. Model object detection yang sudah di-fine-tune dengan foto rak klien mencari posisi setiap produk di rak. Model ini berjalan di GPU IONext di Jakarta.
5. Pengenalan SKU. Setiap potongan produk dicocokkan ke katalog SKU klien. Untuk kasus sulit, misalnya membaca label harga atau materi promo, pipeline bisa memanggil inference API IONext yang kompatibel dengan OpenAI. Per Oktober 2026, katalognya memuat Qwen3.8-27B, model open-weight yang menerima input gambar dan mendukung structured output.
6. Perbandingan planogram. Mesin aturan membandingkan hasil deteksi dengan master planogram: SKU yang wajib ada, jumlah facing, baris, dan urutan. Output-nya skor kepatuhan, daftar produk yang hilang, dan produk yang salah posisi.
7. Review dan dashboard. Hasil dengan confidence rendah masuk antrean review manusia. Hasil final disimpan di database di Jakarta dan tampil di dashboard trade marketing.

Model apa yang dipakai, dan kenapa lisensinya penting?

Untuk deteksi produk, pakai model object detection yang di-fine-tune dengan foto rak klien. Vision-language model cocok sebagai pelengkap untuk membaca teks dan menjelaskan kasus aneh, tapi bukan pengganti detector untuk menghitung facing. Sebelum memilih, cek lisensinya: tidak semua model deteksi populer boleh dipakai di aplikasi komersial tertutup tanpa lisensi tambahan.

Ini titik yang sering terlewat di tahap pilot. Per Oktober 2026, Ultralytics menyatakan model YOLO miliknya berlisensi AGPL-3.0, dan pemakaian di produk komersial, aplikasi internal tertutup, API, atau SaaS memerlukan Enterprise License. Ultralytics juga menyatakan model hasil training ikut berlisensi AGPL-3.0 secara default. Alternatif seperti RF-DETR (varian Nano sampai Large), D-FINE, dan RT-DETRv2 tercatat berlisensi Apache 2.0. Keputusan lisensi ini sebaiknya selesai sebelum klien menandatangani kontrak, bukan setelah go-live.

Keputusan	Default yang disarankan	Alasannya
Model deteksi	Detector berlisensi Apache 2.0, di-fine-tune dengan foto klien	Lisensi jelas untuk aplikasi tertutup. Tidak ada kewajiban membuka source code aplikasi klien.
Peran vision-language model	Pelengkap untuk label harga, materi promo, dan kasus ragu	Detector lebih konsisten untuk menghitung facing. VLM lebih fleksibel untuk membaca teks.
Pengenalan SKU	Classifier atau embedding per potongan produk, di-host sendiri di VM ORBIT	Per Oktober 2026, endpoint /v1/embeddings belum tersedia di inference API IONext, jadi model embedding dijalankan sendiri.
GPU	L40S 48GB untuk inference, RTX PRO 6000 Blackwell SE 96GB untuk fine-tuning dengan foto resolusi tinggi	Fine-tuning dengan batch besar dan gambar resolusi tinggi butuh memory lebih banyak. Inference detector umumnya lebih ringan.
Tool anotasi	Tool open-source yang di-host sendiri di Jakarta, misalnya CVAT atau Label Studio	Foto mentah yang sedang dilabeli juga data klien. Jangan kirim ke layanan anotasi di luar negeri tanpa dasar hukum.
Retensi foto	Simpan foto asli sesuai kebutuhan audit yang disepakati, simpan hasil terstruktur lebih lama	Foto paling berisiko. Data terstruktur jarang memuat data pribadi.

Apakah foto rak termasuk data pribadi?

Foto rak sendiri umumnya bukan data pribadi. Masalahnya, foto lapangan sering ikut memuat wajah pengunjung, pemilik toko, atau penjaga kasir. Pasal 4 UU Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi memasukkan data biometrik ke kategori data pribadi spesifik. Jadi wajah sebaiknya di-blur sejak pre-processing, dan aplikasi mengarahkan sales memotret rak, bukan orang.

Metadata juga perlu diperhatikan. Koordinat GPS, nomor telepon pemilik toko di catatan kunjungan, atau nama sales di nama file bisa digabung untuk mengenali seseorang. Pasal 4 UU PDP menyebut data yang dikombinasikan untuk mengidentifikasi seseorang sebagai data pribadi umum. Kalau pipeline berjalan di Jakarta dan data pribadi disaring di awal, pertanyaan klien soal lokasi data dan transfer data ke luar negeri menurut PP 33/2026 jauh lebih mudah dijawab.

Apa yang biasanya "macet" setelah go-live?

Masalah terbesar jarang ada di model. Yang paling sering terjadi adalah master planogram yang tidak terbarui, kemasan produk yang berubah, dan foto lapangan yang kualitasnya tidak konsisten. Semua ini bisa diantisipasi sejak desain, asalkan ada pemilik data yang jelas di sisi klien dan ada monitoring yang membaca model drift.

• Kemasan berubah, akurasi turun pelan-pelan. Brand meluncurkan kemasan edisi khusus atau varian baru, dan model tidak mengenalinya. Ini bentuk model drift yang paling umum di retail. Siapkan alur tambah-SKU: kumpulkan foto, label, fine-tune ulang, lalu deploy lewat staging.
• Varian mirip tertukar. Ukuran kemasan berbeda dengan desain hampir sama sering salah dikenali. Tambahkan aturan rasio ukuran atau minta VLM membaca teks kemasan untuk kasus ragu.
• Master planogram usang. Skor kepatuhan terlihat buruk padahal planogram di sistem belum diperbarui. Tetapkan siapa di tim klien yang memegang master data, dan tampilkan versi planogram di setiap hasil audit.
• Foto tidak layak. Glare dari lampu kulkas, rak terpotong, atau foto terlalu miring. Cek kualitas di device lebih efisien daripada menolak foto setelah sampai di server.
• Upload menumpuk di sore hari. Sales sering mengunggah setelah kunjungan terakhir. Pasang queue dan retry supaya peak load tidak membuat request gagal.
• Bucket foto ter-expose. Object storage yang tidak sengaja dibuat public adalah risiko data breach yang nyata. ORBIT menampilkan status public atau private setiap resource, dan IONA memberi peringatan exposed resource.

Checklist replikasi untuk SI

1. Minta master planogram dan katalog SKU klien, lalu tetapkan pemilik data di sisi klien.
2. Sepakati definisi kepatuhan: SKU wajib, jumlah facing minimum, urutan, dan toleransi.
3. Tetapkan aturan foto di aplikasi: rak penuh dalam satu frame, tanpa wajah, cek kualitas di device.
4. Pilih model deteksi dan cek lisensinya untuk aplikasi tertutup sebelum kontrak ditandatangani.
5. Siapkan tool anotasi yang di-host di Jakarta, dan cek lisensi dataset publik sebelum dipakai untuk produk komersial.
6. Bangun evaluation set per format toko (minimarket, supermarket, toko tradisional) dan uji model per format.
7. Pasang blur wajah dan pembersihan metadata di pre-processing, sebelum foto masuk ke model atau log.
8. Tetapkan ambang confidence dan antrean review manusia.
9. Siapkan alur tambah-SKU dan fine-tune ulang lewat staging, dengan snapshot model sebelumnya untuk restore.
10. Pasang queue dan retry untuk upload sore hari.
11. Set semua bucket dan database ke private, lalu cek peringatan exposed resource di IONA.
12. Tulis kebijakan retensi foto dan masukkan penyedia infrastruktur ke daftar sub-prosesor klien. Lihat pembagian peran SI dan penyedia infrastruktur.

Di mana IONext berperan

IONext menyediakan GPU di Jakarta untuk fine-tuning dan inference, object storage dan VM di workspace ORBIT, inference API untuk model open-weight, serta IONA untuk membaca sinyal production seperti model drift, pipeline yang "macet", dan resource yang ter-expose. Aplikasi lapangan, model deteksi, logika planogram, dashboard, dan hubungan dengan klien tetap dikerjakan SI. IONext tidak menyediakan model deteksi produk siap pakai, tidak mengelola master planogram klien, dan tidak menggantikan penilaian dampak pelindungan data pribadi milik klien. Detail sertifikasi ISO/IEC 27001:2022 dan lokasi data ada di halaman Keamanan dan Kepatuhan.

Coba bangun pola ini sendiri: daftar di IONext Console lalu jelajahi ORBIT dan IONA. Kalau Anda SI yang ingin membawa pola ini ke klien FMCG atau ritel, bicarakan lewat Program Mitra IONext.

FAQ

Apakah vision-language model bisa menggantikan model object detection untuk audit rak? Untuk menghitung facing dan posisi produk secara konsisten, detector yang di-fine-tune masih lebih cocok. Vision-language model seperti Qwen3.8-27B berguna untuk membaca label harga, materi promo, dan menjelaskan kasus yang ragu. Banyak pola memakai keduanya: detector untuk volume, VLM untuk pengecualian.

Berapa banyak foto yang perlu dilabeli sebelum model bisa dipakai? Tidak ada angka baku. Jumlahnya tergantung banyaknya SKU, kemiripan kemasan, dan variasi format toko. Mulai dari evaluation set per format toko, ukur hasilnya, lalu tambah label di SKU yang paling sering salah. Pendekatan ini lebih hemat daripada melabeli semua foto di awal.

Apakah foto toko boleh diproses di cloud luar negeri? Foto yang memuat wajah atau data yang bisa mengidentifikasi seseorang termasuk data pribadi menurut UU PDP, dan transfernya ke luar negeri punya syarat sendiri. Memproses semuanya di Jakarta menghilangkan pertanyaan itu dari diskusi dengan klien. Konsultasikan detail kewajiban proyek dengan penasihat hukum.

Sumber

• Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi, Pasal 4
• Ultralytics, halaman lisensi YOLO (AGPL-3.0 dan Enterprise License), diakses 21 Oktober 2026
• Roboflow, "RF-DETR vs. Alternatives: Benchmarks and Deployment Compared", 6 Mei 2026
• Goldman dkk., "Precise Detection in Densely Packed Scenes", CVPR 2019 (dataset SKU-110K)
• IONext llms.txt: katalog model dan fitur inference API, per 12 Oktober 2026
• Pattern Card: Merangkum Laporan Kunjungan Toko dengan LLM, Data Tetap di Indonesia
• Document AI dan OCR untuk Dokumen Nasabah, Tanpa Data Keluar Indonesia

Artikel ini informasi umum, bukan nasihat hukum. Konsultasikan kewajiban spesifik proyek Anda dengan penasihat hukum.

IONext adalah infrastruktur AI berdaulat yang di-host di Indonesia, dioperasikan oleh PT Data Awan Nusantara di Jakarta. IONext menyediakan GPU as a Service, managed inference melalui API yang kompatibel dengan OpenAI, dan hosting model open-weight, bersertifikat ISO/IEC 27001:2022 oleh TÜV NORD.