從Data Engineer、Data Architecture到Data Science -- 序言

今年我因緣際會,得到一個在start up 中建構RTB(Real Time Bidding)的廣告即時競標系統的職位。憑藉著過去的經驗,我一直很期待能依照自己想法打造資料科學團隊的機會。原先我以為這個職位能帶給我這樣的機會,只是人算不如天算,最後變成了單打獨鬥的狀況。

但無論如何,這裡的主管還是給予我足夠的信任,放手讓我從建構出標系統,做到後端的機器學習。於是我能實現自己對數據系統的想法,並獲得了驗證。我也把單兵作戰視為一個巨大的挑戰,但是在利用Google Cloud Platform來放大自己的工作能量之後,我終於能運用少少的人力處理小小的數據(目前一秒大概千筆資料上下,實在不敢說大)。

今天碰巧看到朋友轉貼的ITHome鐵人大賽。我就想藉這個機會,讓自己把今年的心得整理整理,並分享給大家。我的目標是寫完我認為數據系統的挑戰,以及我的解決方法與試用心得。本系列也會同步發表在我的個人部落格: https://wush.ghost.io