瑞源 資料科學工程師 

  Jui-Yuan, Liu

朝陽科技大學 資訊管理 碩士

1998/07/30,A型,Taiwan

金融科技  / 大數據工程  / 量化交易

程式語言:Python、Java、Scala (base on Java)

開發工具 :Git / IntelliJ / VSCode

測試工具:Docker / AWS EC2 / S3 / ScalaTest


- 工作經歷 - 

Work Experience

1. 研究及開發Mole,Mole是一個透過spark分散式快速有效率的ETL工具,並提供ETL過程資料驗證及一致性

開發與測試

雲對地資料傳導功能 (AWS S3 to DB) 及 proxy功能。

MongoDB資料傳導功能。

TeraData資料傳導功能。

使用AWS EC2, EMR, RDS及Docker進行單元測試、整合測試及end2end測試。

研究及學習:

研究spark persist功能,暫存資料權限等級、資料生命週期,提升資料一致性及效率。

學習HDFS, HIVE, YARNhadoop大數據生態。

學習Docker容器化部屬及測試。

#Scala #Java #Shellscript #SQL



2. 協助開發智慧醫療敗血症專案,建立ML模型,優化及提升醫師判斷敗血症準確率及recall率

資料處理:

DropNa, Duplicate, OneHotEncoder, Standardization並區分離散或連續型資料。

面對不平衡資料時使用Stratified Shuffle Split等方法讓訓練時資料比例相同。

特徵工程:

使用shap、eli5等套件查看每次特徵的重要性,並運用seaborn、Matplotlib等視覺化工具查看。

部屬:

使用Docker image轉移模型環境及結果,並使用Flask搭建restful API提供醫院使用。

#Python #Tenserflow #Docker

使用LinuxTensorflow製作戰機AI模型建立,數據視覺化,網頁設計及製作。

學習合作大型專案,程式碼分工及整合,程式撰寫標準化,撰寫技術文件。

短期外包敏捷式開發專案,關於Android平台的App之相關開發,例如:登入、註冊、爬取資料、上傳檔案、資料處理、影像傳送、圖像滑動。 

依照MVVM模型,運用Android Studio、MongoDB、Postman開發,使用Google Source進行版本控制。

朝陽電子報網頁,負責登入、留言板、管理員網站等。
使用Django製作,運用Javascript、Ajax、Postgresql製作。

- 作品集展示 - 

Side Project

Oh!DogCat流浪動物收容平台(2019/11/24)

視覺化查看全台流浪動物數據 / LINE Bot即時通報

Web網站方面:使用Javascript, PHP進行開發,定期爬取opendata至FireBase資料庫進行資料清洗與處理後,最終將視覺化網站搭建於herokuapp平台供使用者瀏覽。
(因herokuapp免費期限已到,網站已無法使用QQ)

Line bot方面:使用google script進行開發串接LINE Message建立聊天機器人,並提供流浪動物通報、寵物遺失通報、附近動物醫院通報、流浪動物收容等功能。並在遺失通報中加上精準推播提升找回效果,並將所有上傳資料串接imagurAPI作為圖像資料庫。(目前還可以用唷~)

Web3 風險對沖系統 (2022/01/30)

串接Defi與Cefi的自動化期現套利系統

透過web3.py與鏈上智能合約交互,並定時監控鏈上資產狀況及利潤;透過交易所Restful API即時監控市場波動及買賣,並記錄實時利潤及預期利潤。

加密貨幣搬磚系統 (2023/11/13)

監控各交易所價差並搬磚套利

使用Python開發透過github版本控制,串接台灣三大交易所API,並使用async進行平行處理提高搬磚效率。定時監控獲利並透過電子郵件寄送獲利報告及市場價格波動。最終部屬於AWS EC2實時自動化運行。

USDT匯率網格系統 (2022/06/22)

串接台灣交易所自動化交易匯率

使用網格交易方式,自動化低買高賣,串接MAX交易所API並提供等比或等差的交易方式。搭配使用tkinter提供使用者介面方便觀察獲利及掛單情況。

(此功能MAX以於2023/08/08自行開發提供)

匯率再平衡系統 (2022/07/13)

串接台灣交易所自動化再平衡匯率

使用再平衡的方式,自動化平衡資產價值並同時獲取活期存款獎勵,串接MAX交易所API。搭配使用tkinter提供使用者介面方便觀察獲利及屯幣情況。

- 學歷 -

Education







感謝您閱讀此篇內容,祝您有個美好的一天。

我是 劉瑞源,一個專注於 #數據 #金融 #商業 的探險家

Thank you for reading this and have a nice day.

I am jui-yuan Liu , an explorer focusing on #data #finance #business