링크

https://tv.naver.com/v/11212782

로그 파이프라인

• 검색서비스에서 발생된 원본 로그는 HBase에 1차적으로 저장됨
• 원본 로그를 바탕으로 비즈니스 목적에 맞게 데이터를 가공, ORC 포맷으로 저장
• Data catalog를 통해 저장되어 있는 로그의 목록, 필드 정보, 사용자 관리, 리소스 관리 기능 제공
• [주요 기능]
  • 유실 없는 로그 저장
  • 내가 원하는 기간에 생성된 로그를 필요한 필드만 동일한 인터페이스를 통해 받아갈 수 있는 플랫폼
  • 보안 정보에 대한 처리
    • 보안 정보 분리 저장
    • 주기적 삭제
    • 데이터 접근 제어

1. 유실없는 로그 저장

• At-least-once Delivery

  • 장애가 발생하더라도 유실없는 로그 저장을 위함
  • 최소 한번은 데이터를 전달하도록 보장하는 방법
  • 전달받은 데이터를 저장한 이후 ack 전송
    • 데이터 전달 이후 일정 시간동안 ack가 오지 않으면 다시 전송
  • 데이터 중복이 발생할 수 있음
    • 리시버에서는 데이터가 중복해서 들어가도 문제가 없도록 처리해야 함
    • 해결 : 외부 시스템에 식별 데이터를 쓴 후, 다시 데이터를 처리할 때 확인하는 방식을 많이 사용함. 여기에서 아이디어를 얻음
    • 로그 데이터는 한 번 생산된 이후 데이터가 변하지 않는 특징을 가짐
    • sender가 전송하는 데이터가 불변 데이터이므로, 데이터 식별자가 동일하면 데이터도 동일
    • 사용자가 보내준

  ... 나중에 더 볼 것. 지금의 문제와는 큰 연관이 없는 것 같다.