Stream the data and validate output

1. Amazon Kinesis Analytics 서비스로 이동하여 Studio 탭을 선택합니다. kda 노트북을 선택합니다. Run을 선택 합니다.

2. Status가 Running으로 바뀌면 Open in Apache Zeppelin을 선택합니다.

3. 해당 링크를 통해서 Zeppelin 노트북 파일을 다운로드 받고 import note를 선택해서 다운받은 노트북을 Zeppelin으로 불러옵니다.

4. Amazon Secret Manager로 이동하여 domainMasterUser로 시작하는 Secret을 선택합니다.

5. Retrieve secret value를 클릭해서 username과 password의 값들을 메모합니다.

6. Amazon OpenSearch 서비스로 이동한 다음 os-domain을 선택합니다.

7. OpenSearch Dashboard URL과 Domain endpoint 값을 메모합니다.

8. Zeppelin 노트북으로 돌아가 3.으로 이동합니다.

9. username과 password 값에 Secrets Manager에서 확인한 값을 넣고 hosts에는 OpenSearch Domain endpoint에 :443을 추가해서 넣습니다.

10. 1번, 2번 셀의 오른쪽 모서리에 있는 실행 아이콘을 클릭하여 Kinesis Data Stream에서 레코드를 받아옵니다..

11. Kinesis Data Stream으로 데이터 전송을 시작

12. 몇 초 동안 기다리면 노트북에 데이터가 채워지는 것을 볼 수 있습니다.

13. 3번, 4번 셀의 오른쪽 모서리에 있는 실행 아이콘을 클릭하여 Kinesis Data Stream에서 수신한 레코드들을 분석하고 해당 결과값을 OpenSearch로 전송합니다.

14. 브라우저를 열고 OpenSearch 콘솔에서 확인한 OpenSearch Dashboard URL을 입력합니다. username과 password 값에 Secrets Manager에서 확인한 값을 넣고 로그인합니다.

15. 왼쪽 패널에서 Query Workbench를 선택 합니다.

16. 쿼리 편집기에 select * from trip_statistics;를 입력하고 Run을 클릭합니다. Results 패널에서 집계된 레코드를 볼 수 있습니다.

17. 이제 대쉬보드를 생성해 보겠습니다. 왼쪽 패널의 Management에서 Stack Management를 선택 합니다.

18. Create index pattern를 클릭합니다.

19. Index pattern name에 trip_statistics를 입력하고 Next를 클릭합니다.

20. Create index pattern를 클릭합니다.

21. 필드 목록 및 관련 데이터 유형이 표시됩니다.

22. 왼쪽 패널에서 Visualize를 선택합니다.

23. Create visualization를 선택합니다.

24. 시각화 유형에서 Gauge를 선택하겠습니다.

25. trip_statistics 인덱스를 선택합니다.

26. 아래 정의로 시각화를 만듭니다.

27. 이전 단계를 반복하고 시각화 유형을 Data Tables로 선택하여 다른 시각화를 만듭니다.