劉瑞源 資料科學工程師
Jui-Yuan, Liu
朝陽科技大學 資訊管理 碩士
1998/07/30,A型,Taiwan
金融科技 / 大數據工程 / 量化交易
程式語言:Python、Java、Scala (base on Java)
開發工具 :Git / IntelliJ / VSCode
測試工具:Docker / AWS EC2 / S3 / ScalaTest
- 工作經歷 -
Work Experience
- 國泰金控數位數據發展中心DDT, 資料科學研發科, 資料科學工程師, Feb 2023 ~ Now
1. 研究及開發Mole,Mole是一個透過spark分散式快速有效率的ETL工具,並提供ETL過程資料驗證及一致性。
開發與測試:
雲對地資料傳導功能 (AWS S3 to DB) 及 proxy功能。
MongoDB資料傳導功能。
TeraData資料傳導功能。
使用AWS EC2, EMR, RDS及Docker進行單元測試、整合測試及end2end測試。
研究及學習:
研究spark persist功能,暫存資料權限等級、資料生命週期,提升資料一致性及效率。
學習HDFS, HIVE, YARN等hadoop大數據生態。
學習Docker容器化部屬及測試。
#Scala #Java #Shellscript #SQL
2. 協助開發智慧醫療敗血症專案,建立ML模型,優化及提升醫師判斷敗血症準確率及recall率。
資料處理:
DropNa, Duplicate, OneHotEncoder, Standardization並區分離散或連續型資料。
面對不平衡資料時使用Stratified Shuffle Split等方法讓訓練時資料比例相同。
特徵工程:
使用shap、eli5等套件查看每次特徵的重要性,並運用seaborn、Matplotlib等視覺化工具查看。
部屬:
使用Docker image轉移模型環境及結果,並使用Flask搭建restful API提供醫院使用。
#Python #Tenserflow #Docker
- 國家中山科學研究院, 實習生, July 2020 ~ July 2021
使用Linux及Tensorflow製作戰機AI模型建立,數據視覺化,網頁設計及製作。
學習合作大型專案,程式碼分工及整合,程式撰寫標準化,撰寫技術文件。
- Patere, Android studio developer, Aug 2019 ~ Nov 2019
短期外包敏捷式開發專案,關於Android平台的App之相關開發,例如:登入、註冊、爬取資料、上傳檔案、資料處理、影像傳送、圖像滑動。
依照MVVM模型,運用Android Studio、MongoDB、Postman開發,使用Google Source進行版本控制。
- 朝陽科大 資訊服務中心, 網頁工程師, Aug 2017 ~ Nov 2018
朝陽電子報網頁,負責登入、留言板、管理員網站等。
使用Django製作,運用Javascript、Ajax、Postgresql製作。
- 作品集展示 -
Side Project
Oh!DogCat流浪動物收容平台(2019/11/24)
視覺化查看全台流浪動物數據 / LINE Bot即時通報
加密貨幣搬磚系統 (2023/11/13)
監控各交易所價差並搬磚套利
使用Python開發透過github版本控制,串接台灣三大交易所API,並使用async進行平行處理提高搬磚效率。定時監控獲利並透過電子郵件寄送獲利報告及市場價格波動。最終部屬於AWS EC2實時自動化運行。
- 學歷 -
Education
- 朝陽科技大學, 碩士學位, 資訊管理, 2020 ~ 2022
畢業論文:基於對沖的低風險高獲利加密貨幣套利系統
獨力完成AI決策篩選系統
獨力完成自動量化交易系統:趨勢量化網格、型態網格
- 朝陽科技大學, 學士學位, 資訊管理, 2016 ~ 2020
Oh!DogCat流浪動物收容平台開發 負責後端程式、數據分析、資料庫開發等。
Oh!DogCat流浪動物 LINE官方聊天機器人 負責數據處裡、後端程式、資料庫開發等。
獨立製作網頁遊戲設計,從規劃、故事、場景等,到雛形、實作、測試於1個月內完成。
使用Swift製作流浪動物收容APP
參與第23屆競舞啦啦隊籌辦組,從規劃、資金、主題等,到人員分配、陣型於4個月內完成並獲得優勝。
獨立製作線上股票看盤系統,使用Jupyter Notebook製作。
- 中山工商, 多媒體技術科,2012 ~ 2016
於104年全國商業技藝競賽程式設計組第10名。
高雄數位程式設計競賽第1名。
領導精英社社員,帶領國高中生參與活動及講解活動內容。
畢聯會活動執行長,規劃畢業活動、畢業典禮、畢冊設計製作等。
擁有軟體應用乙級、會計資訊丙級、網頁設計丙級。
感謝您閱讀此篇內容,祝您有個美好的一天。
我是 劉瑞源,一個專注於 #數據 #金融 #商業 的探險家
Thank you for reading this and have a nice day.
I am jui-yuan Liu , an explorer focusing on #data #finance #business