--- title: "NiFi を使用する" slug: "hadoop-vpc-using-nifi" updated: 2026-09-17T09:25:49Z published: 2026-09-17T09:25:49Z canonical: "guide.ncloud-docs.com/hadoop-vpc-using-nifi" stale: true --- > ## Documentation Index > Fetch the complete documentation index at: https://guide.ncloud-docs.com/llms.txt > Use this file to discover all available pages before exploring further. # NiFi を使用する Classic環境で利用できます。 [NiFi](https://nifi.apache.org/)は Dataflowエンジンとして、お互い違うシステム間のデータを処理してリリースする、使用が簡単で安定的なシステムです。NiFiはデータを収集および処理した後、積載するための ETLツールの一種として、分散環境において大量のデータを収集および処理して FBP概念を実現して作ったオープンソースです。 NiFiはリアルタイム処理に非常に適合しており、データ消失なしでデータ送信が可能だというメリットがあります。 ## NiFiの構成要素 NiFiを構成するコンポーネントは大きく4つで、FlowFile、Processor、Connector、Controllerであり、各要素別の説明は次のとおりです。 ![chadoop-nifi-1-1_ko](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/chadoop-nifi-1-1_ko.png?sv=2026-02-06&spr=https&st=2026-10-26T15%3A26%3A19Z&se=2026-10-26T16%3A26%3A19Z&sr=c&sp=r&sig=2imVDw9u6PgRENgrlMi0NVQoofqPOByOhMqlW4fZ9Do%3D) - FlowFile: NiFiが認識するデータの単位 - Content: データ自体を意味 - Attribute: データ関連情報をキー/値のペアで表現したもの - Processor: FlowFileを収集、変形、保存する機能 - データ処理を完了した後に新たな FlowFileを作成できる - Processorは複数個が並列で動作できる - Connector: Processorと Processorを接続して FlowFileを送信する機能 - FlowFileの Queueを意味 - 優先順位および backpressureを設定して負荷を調整 - Flow Controller: 各プロセスを接続し、その間を移動する FlowFileを管理 ## NiFi を使用する Local Fileを HDFSに移動させる Data Flowを作成する方法を説明します。ローカルディレクトリに作成したファイルが NiFi Data Flowを通じて HDFSに移動する全手順と手順別の説明は、次のとおりです。 [1. GetFileプロセッサの作成](/docs/ja/hadoop-vpc-using-nifi#1.GetFile%ED%94%84%EB%A1%9C%EC%84%B8%EC%84%9C%EC%83%9D%EC%84%B1) [2. ローカルファイルの作成](/docs/ja/hadoop-vpc-using-nifi#2.%EB%A1%9C%EC%BB%AC%ED%8C%8C%EC%9D%BC%EC%83%9D%EC%84%B1) [3. HDFSプロセッサの作成](/docs/ja/hadoop-vpc-using-nifi#3.HDFS%ED%94%84%EB%A1%9C%EC%84%B8%EC%84%9C%EC%83%9D%EC%84%B1) [4. プロセッサの接続](/docs/ja/hadoop-vpc-using-nifi#4.%ED%94%84%EB%A1%9C%EC%84%B8%EC%84%9C%EC%97%B0%EA%B2%B0) [5. 実行と結果確認](/docs/ja/hadoop-vpc-using-nifi#5.%EC%8B%A4%ED%96%89%EB%B0%8F%EA%B2%B0%EA%B3%BC%ED%99%95%EC%9D%B8) [6. トラブルシューティング](/docs/ja/hadoop-vpc-using-nifi#6.%EB%AC%B8%EC%A0%9C%ED%95%B4%EA%B2%B0) ### 1. GetFileプロセッサの作成 NiFiで GetFileプロセッサを作成する方法は、次のとおりです。 1. ローカル環境の/tmpディレクトリで以下のように nifi-testディレクトリを作成します。 ``` mkdir /tmp/nifi-test chown nifi /tmp/nifi-test ``` 1. NiFi Web GUIのコンポーネントツールバーからプロセッサをドラッグしてキャンバスの上に移動します。 ![chadoop-nifi-1-2-3_ko](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/chadoop-nifi-1-2-3_ko.png?sv=2026-02-06&spr=https&st=2026-10-26T15%3A26%3A19Z&se=2026-10-26T16%3A26%3A19Z&sr=c&sp=r&sig=2imVDw9u6PgRENgrlMi0NVQoofqPOByOhMqlW4fZ9Do%3D) 2. NiFi Web GUIで GetFileプロセッサを作成した後に設定します。 ![chadoop-nifi-1-2-4_ko](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/chadoop-nifi-1-2-4_ko.png?sv=2026-02-06&spr=https&st=2026-10-26T15%3A26%3A19Z&se=2026-10-26T16%3A26%3A19Z&sr=c&sp=r&sig=2imVDw9u6PgRENgrlMi0NVQoofqPOByOhMqlW4fZ9Do%3D) 3. GetFileプロセッサを右クリックし、 **[Configure]** ボタンをクリックします。 4. **[PROPERTIES]** タブをクリックします。 5. Input Directory項目に nifi-testディレクトリの位置を入力し、 **[APPLY]** ボタンをクリックします。 ![chadoop-nifi-1-2_ko](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/chadoop-nifi-1-2_ko.png?sv=2026-02-06&spr=https&st=2026-10-26T15%3A26%3A19Z&se=2026-10-26T16%3A26%3A19Z&sr=c&sp=r&sig=2imVDw9u6PgRENgrlMi0NVQoofqPOByOhMqlW4fZ9Do%3D) ### 2. ローカルファイルの作成 ローカル環境で任意のファイルを作成する方法は、次のとおりです。以下のように viを利用して test1.txtファイルを作成します。 ``` [irteamsu@dev-nch271-ncl nifi-test]$ vi test1.txt ``` ### 3. HDFSプロセッサの作成 NiFiで HDFSプロセッサを作成する方法は、次のとおりです。 1. 以下のようにローカル環境にあるデータを保存する HDFSディレクトリを作成します。 ``` sudo -u hdfs hdfs dfs -mkdir -p /user/nifi ``` 1. NiFi Web GUIで PutHDFSプロセッサを NiFi GUIを通じてキャンバスの上に作成します。 2. PutHDFSプロセッサを右クリックし、 **[Configure]** ボタンをクリックします。 3. **[PROPERTIES]** タブをクリックして以下のようにプロパティを作成します。 - Hadoop Configuration Resources : /etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml - Directory : /user/test/nifi 1. **[RELATIONSHIPS]** タブをクリックし、**failure** と **success** の **terminate** にすべてチェックを入れます。 ![chadoop-nifi-3](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/chadoop-nifi-3.png?sv=2026-02-06&spr=https&st=2026-10-26T15%3A26%3A19Z&se=2026-10-26T16%3A26%3A19Z&sr=c&sp=r&sig=2imVDw9u6PgRENgrlMi0NVQoofqPOByOhMqlW4fZ9Do%3D) ### 4. プロセッサの接続 NiFiで GetFileプロセッサと PutHDFSプロセッサを接続する方法は、次のとおりです。 1. NiFi Web GUIで GetFileプロセッサにマウスオーバーし、接続アイコンをドラッグして PutHDFSプロセッサに接続します。 2. 完成した Data Flowは次のとおりです。 ![chadoop-nifi-1-3_ko](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/chadoop-nifi-1-3_ko.png?sv=2026-02-06&spr=https&st=2026-10-26T15%3A26%3A19Z&se=2026-10-26T16%3A26%3A19Z&sr=c&sp=r&sig=2imVDw9u6PgRENgrlMi0NVQoofqPOByOhMqlW4fZ9Do%3D) ### 5. 実行と結果確認 NiFiで Data Flowを実行してローカル環境で実行結果を確認する方法は、次のとおりです。 1. NiFi Web GUIにアクセスします。 2. GetFileプロセッサにカーソルを当てて右クリックし、 **[Start]** ボタンをクリックします。 3. PutHDFSプロセッサにカーソルを当てて右クリックし、 **[Start]** ボタンをクリックします。 4. /tmp/nifi-testディレクトリを確認するにはローカル環境で以下のように入力します。 ``` [irteamsu@dev-nch271-ncl nifi-test]$ pwd /tmp/nifi-test [irteamsu@dev-nch271-ncl nifi-test]$ ls ``` - NiFi Data Flowを通じてローカル環境のファイルが HDFSに移動するため、/tmp/nifi-testディレクトリにはファイルが存在しません。 5. HDFSに移動したファイルを確認するにはローカル環境で以下のように入力します。 ``` [irteamsu@dev-nch271-ncl nifi-test]$ sudo -u hdfs hdfs dfs -ls /user/nifi Found 1 items -rw-r--r-- 2 root hdfs 4 2023-08-29 17:33 /user/nifi/test1.txt [irteamsu@dev-nch271-ncl nifi-test]$ sudo -u hdfs hdfs dfs -cat /user/nifi/test1.txt ``` - NiFi Data Flowを通じてローカル環境のファイルが HDFSに移動しました。 参考 ローカル環境の/tmp/nifi-testディレクトリ内にファイルが作成されると、そのファイルは自動で HDFSに移動し、ローカル環境のファイルは削除されます。 ### 6. トラブルシューティング Data Flowに問題が生じた時は Data Provenanceを確認して問題を解決できます。Data Provenanceを確認する方法は、次のとおりです。 1. NiFi Web GUIで確認するプロセッサにカーソルを当てて右クリックします。 2. **View data provenance** ボタンをクリックします。 3. 以下のように Data Provenance情報を確認できます。 ![chadoop-nifi-1-4_ko](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/chadoop-nifi-1-4_ko.png?sv=2026-02-06&spr=https&st=2026-10-26T15%3A26%3A19Z&se=2026-10-26T16%3A26%3A19Z&sr=c&sp=r&sig=2imVDw9u6PgRENgrlMi0NVQoofqPOByOhMqlW4fZ9Do%3D) ![chadoop-nifi-1-5_ko](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/chadoop-nifi-1-5_ko.png?sv=2026-02-06&spr=https&st=2026-10-26T15%3A26%3A19Z&se=2026-10-26T16%3A26%3A19Z&sr=c&sp=r&sig=2imVDw9u6PgRENgrlMi0NVQoofqPOByOhMqlW4fZ9Do%3D)