進階/全文搜尋
IP : 216.73.216.108
首頁 電腦 詳目頁
0人評分過此書

Apache NiFi：讓你輕鬆建立Data Pipeline

作者
：
蘇揮原 (著)
出版社
：
碁峯資訊股份有限公司
出版日期
：
2023/06/01
閱讀格式
：
PDF
書籍分類
：
學術書 ; 電腦
學科分類
：
科學類
ISBN
：
9786263244160
電腦軟體 電子資料處理

本館館藏

借閱規則
當前可使用人數 30 人
借閱天數 14 天
線上看 0 人
丨
借閱中 0 人
選擇分享方式

推薦本館採購書籍

您可以將喜歡的電子書推薦給圖書館，圖書館會參考讀者意見進行採購

讀者資料
圖書館 ：
* 姓名 ：
* 身分 ：
系所 ：
* E-mail ：
※ 我們會寄送一份副本至您填寫的Email中
電話 ：
※ 電話格式為 區碼+電話號碼(ex. 0229235151)/ 手機格式為 0900111111
* 請輸入驗證碼 ：
更新驗證碼
內容簡介:‧精簡的設定和範例介紹，快速掌握Apache NiFi核心精髓
‧整合當今主流的資料工程架構與相關服務說明
‧掌握資料流設計的特性與重點，踏出資料工程第一步

本書介紹Apache NiFi這套服務工具，讀者可以於該服務設計自動化處理資料流(Data Pipeline)。所有的設計與設定都是以No Code與WEB UI方式處理，具備強大的操作互動性和易用性。另外支援大多數的資料載體，如：Relational Database、Document DB、Column-Based、DataWarehouse 、Message Queue等對接處理，並支援目前主流的三大雲平台-AWS(Amazon Web Service)、GCP(Google Cloud Platform)和Microsoft Azure，涵蓋大部分企業使用到的應用與服務，都可透過Apache NiFi做到一站式整合與資料流設計，確保資料處理邏輯以及流入和流出的方向和目的地。同時在面對大量資料處理時也可以運用高擴展的特性來平行執行，也能更細節地去追蹤資料的變化與狀態，最後做到完整的流程與錯誤控制以避免產生資料遺漏的窘境。

本書會介紹當今在資料工程常見的架構，接著介紹Apache NiFi的架構與元件、建置流程與設定、操作方式、與外部服務的整合和應用、資料追蹤等各個資料工程常見的應用處理。最後會提及資料工程領域的發展和重點分析，讓對於這塊領域較陌生或有興趣的讀者們，除了可以在本書學到Apache NiFi的核心價值之外，也能意識到該領域的後續發展與重點，給予讀者具體方向進行未來的發展和準備。
  • chapter 01 Data Pipeline 的重要性
    • 1.1 何謂Data Pipeline？
      • 1.1.1 ETL (Extract-Transform-Load)
      • 1.1.2 ELT (Extract-Load-Transform)
    • 1.2 何謂Streaming 和Batch？
      • 1.2.1 Streaming
      • 1.2.2 Batch
    • 1.3 何謂Lambda、Kappa 和Delta 架構？
      • 1.3.1 Lambda 架構
      • 1.3.2 Kappa 架構
      • 1.3.3 Delta 架構
    • 1.4 為什麼需要使用Apache NiFi？
      • 1.4.1 什麼是Apache NiFi？
      • 1.4.2 Apache NiFI 的元件介紹
    • 1.5 小結
  • chapter 02 Apache NiFi 的架構與建置
    • 2.1 Apache NiFi 架構與規格
      • 2.1.1 Apache NiFi 內部架構
      • 2.1.2 Apache NiFi Cluster 架構
      • 2.1.3 Apache NiFi 的配置規格
    • 2.2 Apache NiFi Data Flow 的版控 - NiFi Registry
      • 2.2.1 NiFi Registry 基本介紹
      • 2.2.2 NiFi Registry 的Metadata Database 和Persistence Provider
      • 2.2.3 Apache NiFi 和NiFi Registry 整合之架構
    • 2.3 如何建置Apache NiFi ＆ NiFi Registry
      • 2.3.1 官方的壓縮檔建置
      • 2.3.2 Docker Container 建置
    • 2.4 小結
  • chapter 03 Apache NiFi Componenet 介紹
    • 3.1 FlowFile 的概念與操作
      • 3.1.1 FlowFile 示意範例
    • 3.2 Processor 的概念與操作
      • 3.2.1 Processor 的用途與分類
      • 3.2.2 Processor Configuration 細節
    • 3.3 Connection 的概念與操作
      • 3.3.1 Where does FlowFiles go？
      • 3.3.2 Back Pressure
      • 3.3.3 Load Balance Strategy
      • 3.3.4 Available Prioritizers
    • 3.4 Processor Group 的概念與操作
    • 3.5 Controller Service 的概念與操作
      • 3.5.1 與DB 的連線設定
      • 3.5.2 與Cloud 服務的Credentials 設定
      • 3.5.3 讀取或寫入特定的Format 設定
      • 3.5.4 Controller Service 在Processor Group 中有階層關係
      • 3.5.5 Controller Service 的Enable
    • 3.6 Templates、Label 和Funnel 的概念與操作
      • 3.6.1 什麼是Templates？
      • 3.6.2 什麼是Labels？
      • 3.6.3 什麼是Funnel？
    • 3.7 NiFi Registry 的概念與操作
      • 3.7.1 對接NiFi Registry
      • 3.7.2 操作NiFi Registry
    • 3.8 小結
  • chapter 04 Apache NiFi 的語法
    • 4.1 Variables 和Parameters 的範圍與差異
      • 4.1.1 Parameters 介紹
      • 4.1.2 Variables 介紹
      • 4.1.3 Parameters vs. Variables
    • 4.2 何謂NiFi Expression Language？
      • 4.2.1 Boolean Logic
      • 4.2.2 String Manipulation
      • 4.2.3 Encode/Decode Functions
      • 4.2.4 Searching
      • 4.2.5 Mathematical Operation ＆ Numeric Manipulation
      • 4.2.6 Date Manupulation
      • 4.2.7 Type Coericon
      • 4.2.8 Subjectless Functions
      • 4.2.9 Evaluating Multiple Attributes
    • 4.3 小結
  • chapter 05 Apache NiFi 和 DB 對接與實務
    • 5.1 何謂RDB 和DocumentDB？
    • 5.2 如何對MySQL 對接與操作？
      • 5.2.1 建立MySQL 服務
      • 5.2.2 下載和套用MySQL JDBC
      • 5.2.3 存取MySQL DB 資料
    • 5.3 如何與MongoDB 對接與操作？
      • 5.3.1 建置MongoDB 服務
      • 5.3.2 建立MongoDBControllerService
      • 5.3.3 操作MongoDB 的資料
    • 5.4 小結
  • chapter 06 Apache NiFi 和Message Queue 對接與實務
    • 6.1 什麼是Message Queue？
    • 6.2 什麼是Apache Kafka？
    • 6.3 如何對Apache Kafka 對接與操作？
      • 6.3.1 Producer
      • 6.3.2 Consumer
    • 6.4 小結
  • chapter 07 Apache NiFi 和Cloud 對接與實務
    • 7.1 如何串接AWS 服務？
      • 7.1.1 建立AWS Controller Service
      • 7.1.2 AWS S3 的串接
      • 7.1.3 AWS Lambda 的串接
      • 7.1.4 AWS SNS 和SQS 的串接
      • 7.1.5 AWS Athena 的串接
      • 7.1.6 AWS Redshit 的串接
      • 7.1.7 AWS 延伸服務
    • 7.2 如何串接GCP 服務？
      • 7.2.1 建立GCP Controller Service
      • 7.2.2 GCP Cloud Storage 的串接
      • 7.2.3 GCP BigQuery 的串接
      • 7.2.4 GCP PubSub 的串接
    • 7.3 小結
  • chapter 08 Apache NiFi 監控與追蹤邏輯
    • 8.1 訂定適當的監控指標
    • 8.2 Apache NiFi 的Reporting Task 和整合應用
    • 8.3 Apache NiFi 的基本偵錯Alert 機制
    • 8.4 小結
  • chapter 09 資料工程的重要性與未來
    • 9.1 資料工程是什麼？為何重要？
      • 9.1.1 定義場景問題與目的
      • 9.1.2 定義資料範圍、量級與流向
      • 9.1.3 資料欄位與型別的確認與變更
      • 9.1.4 定義問題資料的處理與後續機制
      • 9.1.5 定義資料驗證與監控
      • 9.1.6 具備彈性特性
      • 9.1.7 視覺化資料分析和探索
    • 9.2 未來資料工程的變化與趨勢
  • 出版地 ： 臺灣
  • 語言 ： 繁體中文
Apache NiFi：讓你輕鬆建立Data Pipeline

評分與評論

請登入後再留言與評分
幫助
您好，請問需要甚麼幫助呢?
使用指南
借閱規則 使用教學
常見問題
下載書紐教育版

客服專線：0800-000-747

服務時間：週一至週五 AM 09:00~PM 06:00

聯絡我們
loading