Meskipun ada berbagai alasan untuk mengekspor data dari database Anda - seperti untuk menjaga backup, memenuhi kebijakan retensi data regulasi, atau menyediakan analitik hilir - ekspor bisa memberikan beban yang tidak perlu pada sistem produksi Anda, sehingga sulit untuk dijadwalkan dan dikelola. Untuk menghilangkan beban sumber daya tersebut, kami meluncurkan fitur baru untuk Cloud SQL: ekspor tanpa server. Ekspor tanpa server memungkinkan Anda mengekspor data dari instance database MySQL dan PostgreSQL tanpa memengaruhi kinerja atau risiko pada beban kerja produksi Anda.

Ekspor Cloud SQL, yang menawarkan format data portabel (SQL, CSV), bisa dipicu kapan saja dan ditulis ke bucket Cloud Storage yang Anda kontrol.

Jika Anda harus memenuhi persyaratan regulasi seputar retensi data, Anda bisa dengan mudah mengirim ekspor ke bucket dengan mengaktifkan Bucket Lock. Bucket Lock memungkinkan Anda mengonfigurasi kebijakan retensi data untuk bucket Cloud Storage yang mengatur berapa lama objek dalam bucket harus dipertahankan. Ini juga memungkinkan Anda untuk mengunci kebijakan retensi data, yang secara permanen mencegah kebijakan dikurangi atau dihapus.

Contoh lainnya, Anda bisa mengekspor data ke CSV berdasarkan kueri khusus, lalu mengimpor data tersebut langsung ke BigQuery untuk analitik. Dan jika ini untuk pelaporan rutin, Anda bisa menjadwalkan impor berulang dengan Data Transfer Service atau Cloud Scheduler.

Menggunakan fitur ekspor tanpa server yang baru memastikan ekspor ini tidak akan menghambat instance database Cloud SQL, sehingga Anda bisa terus menjalankannya dengan terprediksi dan andal. Dan hingga Februari 2021, Anda bisa menggunakan ekspor tanpa server secara gratis.

Yang berikutnya untuk Cloud SQL

Kami sangat senang melihat apa yang akan Anda bangun dengan fitur ekspor tanpa server yang baru. Punya ide lain? Beri tahu fitur dan kemampuan lain yang Anda butuhkan dengan menggunakan Issue Tracker kami dan bergabung dengan grup diskusi Cloud SQL. Kami senang Anda bergabung, dan kami menantikan masukan Anda!

Artikel Terkait

MySQL 8 siap untuk enterprise dengan Cloud SQL

Cloud SQL, layanan database yang terkelola sepenuhnya untuk MySQL, PostgreSQL, dan SQL Server, sekarang mendukung MySQL 8. Sebagai layanan terkelola, MySQL 8 ...

Baca Artikel

Membangun aplikasi yang didukung AI bukanlah hal yang mudah. Saya tahu. Saya pernah merasakan kesulitan tersebut karena keuntungan menggunakan teknologi ini sering kali sebanding dengan perjuangannya. Sebagaimana pepatah, kenikmatan jus sebanding dengan upaya memerasnya.

Untungnya, selama lima tahun terakhir, mengembangkan dengan machine learning jauh lebih mudah berkat fitur yang mudah digunakan. Sekarang saya hanya membutuhkan waktu singkat untuk membangun dan menyesuaikan model machine learning dan jauh lebih lama untuk mengembangkan aplikasi tradisional.

Dalam postingan ini, saya akan menjelaskan beberapa fitur Google Cloud AI favorit yang mudah digunakan dan berbagi tips untuk membangun aplikasi yang didukung AI dengan cepat. Mari kita mulai.

Gunakan Model Terlatih

Salah satu bagian paling lambat dan tidak menyenangkan dari project machine learning adalah mengumpulkan data pelatihan berlabel--contoh berlabel yang bisa “dipelajari” oleh algoritme machine learning.

Namun untuk sebagian besar kasus penggunaan umum, Anda tidak perlu melakukannya. Daripada membangun model sendiri dari awal, Anda bisa memanfaatkan model terlatih yang telah dibangun, disetel, dan dijaga oleh orang lain. Google Cloud AI API adalah salah satu contohnya.

Cloud AI API memungkinkan Anda menggunakan machine learning untuk melakukan hal-hal seperti:

Model machine learning yang mendukung API ini serupa dengan yang digunakan di banyak aplikasi Google (seperti Foto). Mereka dilatih dengan set data yang sangat besar dan sering kali sangat akurat! Sebagai contoh, saat saya menggunakan Video Intelligence API untuk menganalisis video keluarga, label yang spesifik seperti “bridal shower,” “pernikahan,” “permainan baseball,” bahkan “senyuman bayi bisa terdeteksi.”

Tentu saja Cloud AI API berjalan di cloud. Namun jika Anda memerlukan solusi gratis dan offline, TensorFlow.js dan ML Kit menyediakan sejumlah model terlatih yang bisa Anda jalankan langsung di browser atau perangkat seluler. Bahkan ada kumpulan model TensorFlow terlatih yang lebih besar lagi di TensorFlow Hub.

Model Khusus yang Mudah dengan AutoML

Meskipun Anda bisa menemukan model terlatih untuk banyak kasus penggunaan, terkadang Anda perlu membangun sesuatu yang sangat khusus. Mungkin Anda ingin membangun model yang menganalisis pemindaian medis seperti sinar-X untuk mendeteksi keberadaan penyakit. Atau mungkin Anda ingin mengurutkan widget dari sesuatu di jalur perakitan. Atau memprediksi pelanggan yang paling mungkin melakukan pembelian bila menerima katalog Anda.

Oleh karena itu, Anda perlu membangun model khusus. AutoML adalah fitur Google Cloud AI yang memudahkan proses ini. AutoML memungkinkan Anda melatih model khusus pada data Anda sendiri, Anda bahkan tidak perlu menulis kode untuk melakukannya (kecuali Anda menginginkannya).

Dalam animasi gif di bawah ini, Anda bisa melihat bagaimana saya menggunakan AutoML Vision untuk melatih model yang mendeteksi komponen rusak di papan sirkuit. Antarmuka untuk memberi label pada data adalah klik-dan-tarik, dan melatih model semudah mengklik tombol “Train New Model.” Saat model menyelesaikan pelatihan, Anda bisa mengevaluasi kualitasnya di tab “Evaluate” dan melihat kesalahan yang dibuatnya.

AutoML bekerja pada gambar (AutoML Vision), video (AutoML Video), bahasa (AutoML Natural Language dan AutoML Translation), dokumen, dan data tabular (AutoML Tables) seperti yang mungkin Anda temukan di database atau spreadsheet.

AutoML Vision.gif

Meskipun antarmuka AutoML sederhana, model yang dihasilkan sangat tinggi kualitasnya. Di dalamnya, AutoML melatih berbagai model (seperti neural network), membandingkan arsitektur dan parameter yang berbeda, serta memilih kombinasi yang paling akurat.

Menggunakan model AutoML di aplikasi Anda adalah mudah. Anda bisa mengizinkan Google untuk menjadi host model bagi Anda di Cloud dan mengaksesnya melalui REST API standar atau library klien (Python, Go, Node, Java, dll), atau mengekspor model ke TensorFlow sehingga Anda bisa menggunakannya secara offline.

Hal tersebut, sedikit banyak, memudahkan pelatihan model. Namun dari mana Anda mendapatkan set data pelatihan besar?

Jangan Beri Label Data Anda Sendiri

Saya sungguh-sungguh.

Ketika saya memulai project ML, yang pertama kali saya periksa adalah apakah model terlatih yang melakukan apa yang saya inginkan sudah ada.

Jika belum ada, saya akan memberikan pertanyaan yang sama pada diri sendiri tentang set data. Hampir semua jenis set data yang bisa Anda bayangkan sudah ada di Kaggle, situs kompetisi dan hosting set data. Dari tweet tentang COVID-19, daftar lokasi Chipotle, hingga kumpulan artikel berita palsu, Anda bisa menemukan setidaknya beberapa set data di Kaggle yang memungkinkan Anda melatih model bukti konsep untuk masalah Anda. Google Dataset Search juga merupakan fitur yang berguna untuk menemukan set data yang akan melakukan kueri baik Kaggle maupun sumber lainnya.

dataset search.gif

Terkadang, tentu saja Anda harus memberi label pada data Anda. Namun, sebelum Anda mempekerjakan ratusan pekerja magang, pertimbangkan untuk menggunakan Data Labeling Service Google. Untuk menggunakan fitur ini, Anda perlu menjelaskan bagaimana Anda ingin data diberi label, kemudian Google akan mengirimkannya ke tim pemberi label manusia. Set data berlabel yang dihasilkan bisa dimasukkan langsung ke AutoML atau model Platform AI lainnya untuk pelatihan.

Dari Model hingga Aplikasi yang Dapat Digunakan

Sering kali, membangun (atau menemukan) model machine learning yang bekerja dengan baik bukanlah bagian tersulit dari sebuah project. Hal paling menantang adalah membuat orang lain di tim Anda untuk menggunakan model tersebut pada data mereka sendiri. Kami sering menghadapi masalah ini di Google Cloud AI, itulah sebabnya kami memutuskan untuk menambahkan demo interaktif ke halaman produk API sehingga Anda bisa mengupload API kami dan mencobanya dengan cepat.

Vision AI.gif
Kami menambahkan demo ini langsung ke halaman produk Vision sehingga orang dapat mencoba model kami pada data mereka dengan sedikit peningkatan.

Kesuksesan memimpin project machine learning sering kali karena kemampuan membangun prototipe dengan cepat. Karena itu, saya memiliki beberapa fitur dan arsitektur yang dapat digunakan:

  • Tambahkan ML ke Google Spreadsheet. *Aplikasi G Suite seperti Spreadsheet, Dokumen, dan Formulir mudah dikembangkan dengan JavaScript melalui framework Apps Script. Misalnya, Anda bisa membangun model klasifikasi teks yang berjalan setiap kali Anda menambahkan baris di Google Spreadsheet. Atau, Anda bisa membuat Google Formulir yang memungkinkan Anda mengupload gambar, menganalisisnya dengan model ML, lalu menulis hasilnya ke Google Spreadsheet.

  • Google Cloud Storage + Cloud Functions Duo. Sebagian besar project ML adalah data masuk, data keluar. Anda mengupload beberapa data input--gambar, video, rekaman audio, cuplikan teks, dll.--dan model menjalankan prediksi di atasnya (“data output”). Cara yang bagus untuk membuat prototipe jenis project ini adalah dengan Cloud Storage dan Cloud Functions. Cloud Storage bertindak seperti folder di cloud: tempat untuk menyimpan data dalam semua format. Cloud Functions adalah fitur untuk menjalankan blok kode di cloud tanpa memerlukan server khusus. Anda bisa mengonfigurasi keduanya agar bekerja sama dengan menyetel file yang diupload ke penyimpanan cloud sebagai “pemicu” fungsi cloud yang dijalankan.

  • Saya baru saja menggunakan pengaturan ini ketika membuat pipeline AI dokumen:

document ai pipeline.jpg
Klik untuk memperbesar

Saat dokumen diupload ke bucket penyimpanan cloud, ini akan memicu fungsi cloud yang menganalisis dokumen berdasarkan tipe dan memindahkannya ke bucket baru. Hal tersebut memicu fungsi cloud baru, yang menggunakan Natural Language API untuk menganalisis teks dokumen. Lihat kode lengkapnya di sini.

Langkah Berikutnya

Mudah-mudahan postingan ini meyakinkan Anda bahwa memulai machine learning tidaklah selalu menyulitkan. Berikut adalah beberapa tutorial dan demo untuk mulai menggunakan ML: