리더의 한마디) 아이디어스팀의 Search&Recommend셀 자랑
1. 대다수의 개발을 Top down이 아니라 bottom up으로 진행하고 있습니다.
지금까지 진행했던 프로젝트들의 일련의 과정들을 돌아보면 누군가 ‘이런 추천 시스템을 개발했으면 좋겠어’
요청해서 진행하거나 C-suite에서 Mission을 할당했다기 보다 셀 내부적으로 ‘우리 Next Step으로 이런
기능들 개발할 수 있지 않을까?’, ‘OO 모델을 적용시키면 더 큰 비즈니스적 성과를 가져올 것 같은데?’ 등의
자유로운 이야기들을 바탕으로 시작되었어요.
이 이야기들을 바탕으로 플래닝 전 논의를 진행하고,
다른 기술들과 비교하여 결과를 예측하고,
테스트를 거쳐 프로덕션하고.
그렇게 서비스를 만들어 가는 과정들 대부분 주도적으로 제안하며 작업했던 것 같습니다.
내가 제안한 기능들을 개발할 수 있어 더 큰 보람과 서비스에 대한 오너십이 생기고,
이 기능에 긍정적인 반응을 해주는 사용자들을 보면 자부심이 생기기도 해요.
이 과정에서 실패했다고 누군가 뭐라고 하는 그런 문화를 가지고 있지도 않습니다.
그저 어떤 것을 학습했고 긍정적인 결과물을 만들기 위해 Next Step으로 무엇을 해야 하는지 함께 고민하니까요.
2. 새로운 기술의 중요성을 알고 있습니다.
기술이라는 건 우리가 가지고 있는 기존의 지식에 머물면 한계가 생겨나는 영역입니다.
기술의 차이는 시도와 횟수가 중요한 거지 내가 커리어를 이어온 연차가 중요한 건 아니라고 생각합니다.
그런 관점에서 우리는 끊임없이 새로운 기술을 리서치하고 습득하고 레벨 업해야 해요.
끊임없이 스터디하고 또 동료들과 공유하고 의미 있는 아이템들이 있다면 뽑아내어 프로덕션 해야 한다고 생각합니다.
아이디어스팀은 이러한 새로운 기술의 중요성을 알고 있고, 저희 셀도 끊임없이 스터디하며 개인의 성장을 도모하고 있습니다.
3. 시너지를 만들어낼 수 있는 동료들이 넘쳐납니다.
마지막으로 아이디어스팀, 그리고 저희 셀에는 어디에서도 경험하지 못할 좋은 동료들이 있다고 생각합니다.
아이디어스팀의 동료들은 앞서 이야기 한 것처럼 함께 나아가고자 하는 방향성이 분명하고, 함께 힘을 합쳐 시너지를 낼 준비가 되어있습니다.
머리를 맞대어 결론을 도출하고, 학습 결과를 공유하고, 궁금한 사항은 언제든 부담 없이 물어볼 수 있는 문화들이 내재되어 있는 것 같습니다.
주요 아키텍처와 주요 Stack
NEW Search Architecture
•
ES Cluster
◦
Blue와 Green으로 구성되어 있으며, ELB(Elastic Load Balancing)를 통해 중단 없이 새로운 ES Cluster로 교체할 수 있습니다. 이는 Search API에서 유입되는 Request와 ES Cluster 간의 종속(Dependency)을 제거하기 위해 ES Cluster 앞에 ELB를 두었기 때문에 ES Cluster가 변경되어도 정상적인 서비스가 가능해집니다.
◦
모든 일련의 작업이 *Airflow를 통해 동작할 수 있도록 작업하여 휴먼 에러 발생을 최소화했습니다.
◦
AWS CloudFormation을 통해 쉽게 배포 가능하도록 구성했습니다.
•
Search API
◦
검색어와 종속성(Dependency)을 가지는 모든 데이터를 집합화(Aggregation) 하여 제공하고 ES Cluster 장애가 발생하였을 때 자동으로 회로(Circuit)가 오픈되어 *Redis를 통해 정상적인 서비스가 가능하도록 구성되어 있습니다.
•
Kafka
◦
아이디어스 작품 색인은 주기적으로 전체 색인을 진행하고, 동적으로 변경되는 데이터는 Kafka Streamming을 통해서 동적 색인이 동작하게 됩니다. 이러한 일련의 작업들은 모두 Airflow를 통해 이루어지고 있습니다.