Selama pandemi COVID-19, kami melihat respons yang menginspirasi dari komunitas developer. Untuk mendukung upaya respons, kami mempercepat pemrosesan aplikasi kredit Google Maps Platform untuk project nirlaba terkait COVID-19 yang menawarkan situs atau aplikasi seluler yang tersedia untuk umum. Setelah developer dan organisasi nirlaba yang tertarik mengirimkan aplikasi, tim kami akan meninjaunya untuk memastikan kelayakannya. Developer yang membutuhkan bantuan memulai agar bisa dengan cepat memberikan layanan yang bermanfaat dan dibutuhkan komunitas, bisa mengunjungi pusat sumber daya developer untuk informasi selengkapnya.

Memulai 

  1. Tinjau detail kelayakan di situs sumber daya developer. Hanya situs dan aplikasi yang menawarkan layanan yang sah dan/atau menyebarkan informasi dari sumber-sumber resmi (mis. Pusat Pengendalian Penyakit, Organisasi Kesehatan Dunia, instansi kesehatan lokal dan negara bagian) yang memenuhi syarat. 
  2. Buat akun Google Cloud Platform
  3. Karena akun penagihan diperlukan untuk mengelola kredit program, Anda harus menyiapkan akun penagihan 
  4. Kirim aplikasi Anda
  5. Aktifkan SDK dan API Google Maps Platform yang ingin Anda gunakan
  6. Buat kunci API untuk mengautentikasi permintaan Anda ke platform

Untuk persyaratan dan daftar langkah penyiapan lengkap, lihat Mulai dengan Google Maps Platform atau tonton video memulai kami di saluran YouTube Google Maps Platform. 
API/SDK untuk kasus penggunaan respons krisis umum Setiap SDK dan API Google Maps Platform berguna untuk project bantuan dan respons krisis, tetapi kami menyusun lembar singkat untuk membantu Anda mengidentifikasi API dan SDK yang bisa digunakan untuk beberapa kasus penggunaan yang relevan.
Ikon Tampilan Lokasi
Kasus penggunaan: Saya ingin menampilkan lokasi tempat, seperti lokasi pengujian, di peta
Untuk web:
Untuk seluler:

Ikon Tampilan Banyak Tempat

 Kasus penggunaan: Saya ingin menampilkan banyak lokasi, seperti semua toko dengan jam khusus untuk pembeli sensitif, di peta
Untuk web:
  • Marker khusus untuk web
  • Pengelompokan marker untuk web
Untuk seluler:

Peta Panas
Kasus penggunaan: Saya ingin menampilkan peta panas kasus kesembuhan berdasarkan data dari sumber berwenang
Untuk Web:

  • Peta panas untuk web

Untuk Seluler:



Volume
Kasus penggunaan: Saya ingin memvisualisasikan set data kepentingan publik atau kesehatan yang luas dari sumber berwenang, yang berjumlah lebih dari 300 titik
Untuk web:



Penelusuran Tempat
Kasus penggunaan: Saya ingin membantu orang menelusuri tempat, seperti pusat kesehatan komunitas terdekat
Untuk web:

Untuk seluler:

Directions
Kasus penggunaan:  Saya ingin membantu rumah sakit nirlaba merutekan pengiriman medis atau membantu pasien menuju lokasi pengujian terdekat
Untuk web:

Untuk seluler:

Jika Anda memiliki pertanyaan teknis ketika membangun, silakan lihat dokumentasi teknis kami, StackOverflow, atau hubungi kami melalui saluran dukungan yang lain. Sekali lagi, silakan kunjungi pusat sumber daya developer untuk mengajukan kredit.

Untuk mendengar tentang apa yang dilakukan komunitas Google Maps Platform sebagai respons terhadap COVID-19, silakan kembali ke blog beberapa pekan lagi. Untuk informasi selengkapnya tentang Google Maps Platform, kunjungi situs kami. 

Di market dengan popularitas analytics streaming yang semakin populer, sangatlah penting untuk mengoptimalkan pemrosesan data sehingga Anda bisa mengurangi biaya dan memastikan kualitas serta integritas data. Salah satu pendekatannya adalah dengan fokus bekerja hanya pada data yang berubah, bukan semua data yang ada. Di sinilah change data capture (CDC) berguna. CDC adalah teknik yang memungkinkan pendekatan teroptimalkan ini.
Kami yang bekerja di Dataflow, layanan pemrosesan data streaming Google Cloud, mengembangkan contoh solusi yang memungkinkan Anda menyerap streaming data yang berubah yang berasal dari segala jenis database MySQL versi 5.6 ke atas (dikelola-sendiri, lokal, dll.), dan menyinkronkannya ke set data di BigQuery. Kami menyediakan solusi ini dalam repositori publik template Dataflow. Anda bisa menemukan petunjuk tentang cara menggunakan template ini di bagian README repo GitHub.
CDC menyediakan representasi data yang telah berubah dalam streaming, yang memungkinkan komputasi dan pemrosesan untuk berfokus secara khusus pada data yang berubah. CDC bisa diterapkan untuk banyak kasus penggunaan. Beberapa contohnya meliputi replikasi database penting, optimalisasi tugas analytics real-time, penghapusan cache, sinkronisasi antara penyimpanan data transaksional dan penyimpanan bertipe data warehouse, dan banyak lagi.


Bagaimana solusi CDC Dataflow memindahkan data dari MySQL ke BigQuery


Solusi yang diterapkan, ditunjukkan di bawah ini, berfungsi dengan database MySQL apa pun, yang dipantau dengan konektor yang kami kembangkan berdasarkan Debezium. Konektor menyimpan metadata tabel menggunakan Data Catalog (layanan manajemen metadata skalabel Google) dan mendorong update ke Pub/Sub (teknologi perpesanan dan penyerapan streaming native Google Cloud). Pipeline Dataflow kemudian mengambil update dari Pub/Sub dan menyinkronkan database MySQL dengan set data BigQuery.
Solusi ini mengandalkan Debezium, yang merupakan fitur open source sempurna untuk CDC. Kami mengembangkan konektor yang bisa dikonfigurasi berdasarkan teknologi ini dan dapat dijalankan secara lokal atau di lingkungan Kubernetes Anda sendiri untuk mendorong perubahan data ke Pub/Sub.
CDC_Solution_Diagram-01.jpg
Klik untuk memperbesar

Menggunakan solusi CDC Dataflow

Penerapan solusi terdiri dari empat langkah:
  1. Terapkan database Anda (lewati langkah ini bila Anda sudah memiliki database)
  2. Buat topik Pub/Sub untuk setiap tabel yang ingin Anda ekspor
  3. Terapkan konektor berbasis Debezium kami
  4. Jalankan pipeline Dataflow untuk menggunakan data dari Pub/Sub dan sinkronkan ke BigQuery
Misalkan Anda memiliki database MySQL yang berjalan di lingkungan apa pun. Untuk setiap tabel dalam database yang ingin diekspor, Anda harus membuat topik Pub/Sub dan langganan yang sesuai untuk topik tersebut.
Setelah topik Pub/Sub dan database siap, jalankan konektor Debezium. Konektor ini bisa berjalan di banyak lingkungan: dibangun secara lokal dari sumber, melalui container Docker, atau pada kluster Kubernetes. Untuk petunjuk tentang cara menjalankan konektor Debezium dan solusi secara umum, baca README untuk petunjuk selengkapnya.
Setelah konektor Debezium mulai berjalan dan menangkap perubahan dari MySQL, ia akan mendorongnya ke Pub/Sub. Menggunakan Data Catalog, ia juga akan mengupdate skema untuk topik Pub/Sub yang sesuai dengan setiap tabel MySQL.
Setelah semua bagian siap, Anda bisa meluncurkan pipeline Dataflow untuk menggunakan data perubahan dari Pub/Sub dan menyinkronkannya ke Tabel BigQuery. Tugas Dataflow bisa diluncurkan dari baris perintah. Berikut tampilannya setelah Anda luncurkan:
Dataflow job.jpg
Setelah konektor dan pipeline berjalan, Anda cukup memantau progresnya, dan memastikan semuanya berjalan lancar.

Mulai sekarang

Punya kasus penggunaan yang membutuhkan kemampuan CDC Dataflow? Misalnya, optimalisasi tugas analytics real-time. Jika ya, cobalah! Pertama, gunakan kode ini untuk memulai membangun pipeline CDC pertama Anda di Dataflow hari ini. Dan bagikan masukan Anda dengan tim Dataflow di pelacak masalah GitHub.
Di Google Cloud, kami senang bisa menghadirkan CDC sebagai teknik yang sangat penting untuk mengoptimalkan analytics data streaming. Kami sangat menantikan pengembangan maupun masukan dengan kemampuan baru Dataflow ini.