반응형

데이터 8

프로젝트30. Airflow? 뭔가 내 서비스에 잘 맞을 것 같은데?

비슷한 차트 검색기 비슷한 차트 검색기전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요?www.similarchart.com   서비스는 완성했지만..저는 '비슷한 차트 검색기 - 주가 예측' 서비스를 개발하고 운영하고 있습니다. 서비스는 현재 원활하게 돌아가고 있지만, 비용 절감과 유지보수성 향상을 위해 더 나은 기술이나 아키텍처가 없을지 계속 고민 중입니다. 그러던 중, 데이터 엔지니어링과 관련된 도구들을 탐구하면서 Apache Airflow라는 도구를 알게 되었습니다. Airflow는 배치 작업 및 데이터 파이프라인 자동화에 최적화된 도구라고 하여 제 서비스에도 적합할 것 같았습니다. 현재 주기적으로 배치 작업을 수행하는 구조이기 때문에 이를 좀 더 효율적..

프로젝트 2024.09.12

프로젝트 - 5. 데이터 파이프라인, 데이터베이스 구조 정리

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. https://www.similarchart.com/ 비슷한 차트 검색기전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요?www.similarchart.com 모든 것을 자동화해 보자 데이터 흐름  1. 종목 리스트 업데이트맨 처음에는 코스피와 코스닥(미국은 NYSE와 NASDAQ)의 최신 종목 리스트를 불러와 기존 데이터베이스에 있는 종목 리스트와 비교하고 달라진 부분이 있으면 업데이트합니다.code : 종목코드name : 종목명ranking : 시가총액 순위valid : 해당 종..

프로젝트 2024.02.17

웹 아키텍처7 - 데이터 파이프라인(나는 데이터 파이프라인을 사용하는 걸까?)

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(5년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. 비슷한 차트 검색기 similar chart finder내 종목의 차트는 상승하는 차트일까요?3.35.36.208  웹 아키텍처에서의 데이터 파이프라인공부하기 전인 지금, 데이터 파이프라인이라고 하면 그냥 데이터를 처리하는 과정이라고 알고 있습니다. 데이터 파이프라인만 특히 신경 써서 알아보거나 조사해 볼 생각은 없었습니다. 제 프로젝트는 파이썬 라이브러리로 주가 데이터를 수집하고 정제하여 요청에 필요한 데이터를 준비하는 도커 컨테이너가 있는데, 이 부분이 데이터 파이프라인과 연관이 있을 것 같긴 하네요. 한번 공부해 보겠습니..

웹 아키텍쳐 2024.02.17

실전! 스프링 데이터 JPA 강의 듣고 정리(23.2.25)

사용자가 특정 차트를 고르면, 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개를 골라 사용자에게 보여줍니다. 웹프로젝트 링크 비슷한 차트 검색기 전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요? www.similarchart.com 김영한 개발자님의 실전! 스프링 데이터 JPA 강의를 수강하고 중요한 점이나 인상 깊었던 점을 간단히 정리했습니다. 목차 1. 쿼리 메소드 기능 2. 페이징과 정렬 3. 벌크성 수정 쿼리 4. @EntityGraph 5. 사용자 정의 리포지토리 구현 6. Auditing 7. Web 확장 - 도메인 클래스 컨버터 8. Web 확장 - 페이징과 정렬 9. 새로운 엔티티를 구별하는 법(중요) 공통 인터페이스 -..

스프링 2024.02.16

스프링 DB 2 정리 - 5. 데이터 접근 기술 - JPA (22.8.27)

사용자가 특정 차트를 고르면, 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개를 골라 사용자에게 보여줍니다. 웹프로젝트 링크 비슷한 차트 검색기 전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요? www.similarchart.com 김영한 개발자님의 스프링 DB 2편 강의를 수강하고 중요한 내용을 정리했습니다. 5. 데이터 접근 기술 - JPA 5.1. JPA 시작 스프링과 JPA는 자바 엔터프라이즈(기업) 시장의 주력 기술이다. 스프링이 DI 컨테이너를 포함한 애플리케이션 전반의 다양한 기능을 제공한다면, JPA는 ORM 데이터 접근 기술을 제공한다. JdbcTemplate이나 MyBatis 같은 SQL 매퍼 기술은 SQL을 개발자가..

스프링 2024.02.13

스프링 DB 2 정리 - 4. 데이터 접근 기술 - MyBatis (22.8.26)

사용자가 특정 차트를 고르면, 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개를 골라 사용자에게 보여줍니다. 웹프로젝트 링크 비슷한 차트 검색기 전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요? www.similarchart.com 김영한 개발자님의 스프링 DB 2편 강의를 수강하고 중요한 내용을 정리했습니다. 4.1. MyBatis 소개 MyBatis는 JdbcTemplate보다 더 많은 기능을 제공하는 SQL Mapper이다. 기본적으로 JdbcTemplate이 제공하는 대부분의 기능을 제공한다. JdbcTemplate과 비교해서 MyBatis의 가장 매력적인 점은 SQL을 XML에 편리하게 작성할 수 있고 동적 쿼리를 매우 편리하..

스프링 2024.02.13

스프링 DB 2 정리 - 3. 데이터 접근 기술 - 테스트 (22.8.25)

사용자가 특정 차트를 고르면, 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개를 골라 사용자에게 보여줍니다. 웹프로젝트 링크 비슷한 차트 검색기 전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요? www.similarchart.com 3. 데이터 접근 기술 - 테스트 김영한 개발자님의 스프링 DB 2편 강의를 수강하고 중요한 내용을 정리했습니다. 3.1. 테스트 - 데이터베이스 분리 실제 데이터베이스를 연동해서 테스트를 하면 데이터베이스에 이미 과거에 서버를 실행하면서 저장했던 데이터가 보관되어 있기 때문에 이 데이터가 현재 테스트에 영향을 준다. 이런 문제를 해결하려면 테스트를 다른 환경과 철저하게 분리해야 한다. 가장 간단한 방법은 ..

스프링 2024.02.13

스프링 DB 2 정리 - 1. 데이터 접근 기술 - 시작 (22.8.23)

사용자가 특정 차트를 고르면, 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개를 골라 사용자에게 보여줍니다. 웹프로젝트 링크 비슷한 차트 검색기 전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요? www.similarchart.com 김영한 개발자님의 스프링 DB 2편 강의를 듣고 ppt 자료를 참고하여 중요한 내용들을 정리했습니다. 1. 데이터 접근 기술 - 시작 1.1. 데이터 접근 기술 진행 방식 소개 앞으로 배울 데이터 접근 기술은 크게 2가지로 분류할 수 있다. SQL Mapper JdbcTemplate MyBatis 개발자는 SQL만 작성하면 해당 SQL의 결과를 객체로 편리하게 매핑해 준다. JDBC를 직접 사용할 때 발생하..

카테고리 없음 2024.02.13
반응형