0人評分過此書

Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略

出版日期
2021
閱讀格式
PDF
書籍分類
學科分類
ISBN
9789860776522

本館館藏

借閱規則
當前可使用人數 30
借閱天數 14
線上看 0
借閱中 0

計次服務

借閱規則
借閱天數 14
選擇分享方式

推薦本館採購書籍

您可以將喜歡的電子書推薦給圖書館,圖書館會參考讀者意見進行採購

讀者資料
圖書館
* 姓名
* 身分
系所
* E-mail
※ 我們會寄送一份副本至您填寫的Email中
電話
※ 電話格式為 區碼+電話號碼(ex. 0229235151)/ 手機格式為 0900111111
* 請輸入驗證碼
Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略
本書獨家解析知名大數據專案,FinMind,帶你一窺大數據產品的發展過程,打造專屬個人的大數據 side project、作品、產品。讀完本書,你將學會分散式爬蟲、rabbitmq、api、MySQL 資料庫、壓力測試、docker、CICD、雲端、traefik、redash 視覺化等,本書是一本集大成的作品。

分享在 Github 獲得 1,500 stars 的大數據 side project,並幫助讀者從 0 開始,打造專屬個人的大數據 side project。

● 資料工程
○ 使用分散式技術,rabbitmq、flower、celery,收集證交所、櫃買中心、期交所等股市資訊。
○ 使用 docker、fastapi 架設 RESTful API 服務。
○ 使用 docker swarm 架設分散式服務,包含爬蟲、api、資料庫 MySQL、rabbitmq 等服務。
○ 使用雲端服務,一個月 5 美金,且免費提供 100 美金額度。
○ 一站式管理多台分散式機器。
● 產品迭代
○ 單元測試 unit test 介紹,包含爬蟲、api 測試範例。
○ 使用 CICD 做持續性整合、部屬,並以 gitlab-ci 搭配 API 服務做為範例。
● API 產品上線
○ 免費網址申請教學,No-IP。
○ 免費 SSL 憑證教學,Let''s Encrypt。
○ 一站式管理多服務網址,容器化反向代理工具 Traefik。
● 業界資料視覺化工具
○ 使用 Redash 建立個人化、股市分析儀表板。
  • 第1篇 資料工程ETL
    • 01 本書介紹
    • 02 開發環境
      • 2.1 開發環境重要性
      • 2.2 Linux作業系統
      • 2.3 Windows作業系統
      • 2.4 Mac作業系統
      • 2.5 Python開發工具 VS Code
    • 03 Docker
      • 3.1 為什麼先介紹Docker?
      • 3.2 什麼是Docker?
      • 3.3 安裝Docker
      • 3.4 安裝Docker-Compose
    • 04 雲端
      • 4.1 為什麼要用雲端?
    • 05 資料收集
      • 5.1 Python環境設置
      • 5.2 爬蟲
      • 5.3 資料庫架設
      • 5.4 上傳資料到資料庫
      • 5.5 分散式爬蟲
      • 5.6 定時爬蟲
    • 06 資料提供—RESTfulAPI設計
      • 6.1 什麼是API?
      • 6.2 輕量API──Flask
      • 6.3 高效能API──FastAPI
    • 07 容器管理工具Docker
      • 7.1 為什麼要用Docker
      • 7.2 建立第一個Docker image──Dockerfile
      • 7.3 發布Docker image
      • 7.4 雲端部屬
      • 7.5 Docker Swarm
      • 7.6 部屬服務
  • 第2篇 產品迭代──測試運維
    • 08 自動化測試
      • 8.1 單元測試Unit Test
    • 09 CICD持續性整合、部屬
      • 9.1 什麼是CICD?
      • 9.2 CI持續性整合
      • 9.3 Gitlab-CI、以爬蟲專案為例
      • 9.4 Gitlab-CI,建立Docker image
      • 9.5 Gitlab-CI,部屬新版本
      • 9.6 Gitlab-CI、以API專案為例
      • 9.7 總結
  • 第3篇 API產品上線
    • 10 API服務網址
      • 10.1 為什麼需要網址?
      • 10.2 No-IP免費的網址申請
      • 10.3 Let's Encrypt免費的SSL憑證
      • 10.4 Traefik
      • 10.5API結合Traefik
      • 10.6 總結
  • 第4篇 資料視覺化
    • 11 視覺化工具
      • 11.1 什麼是視覺化?
      • 11.2 Redash
      • 11.3 Redash帳號設定
      • 11.4 資料庫連接
      • 11.5 匯入資料
      • 11.6 製作第一個圖表
      • 11.7 第一個Dashboard
      • 11.8 設定下拉式選單
      • 11.9 其他BI工具
    • 12 結論

評分與評論

請登入後再留言與評分
幫助
您好,請問需要甚麼幫助呢?
使用指南

客服專線:0800-000-747

服務時間:週一至週五 AM 09:00~PM 06:00

loading