반응형

데이터베이스 33

웹 프로젝트 - 10. AWS 청구서 분석3 (RDS, KMS, VPC)

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(5년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. 비슷한 차트 검색기  비슷한 차트 검색기전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요?www.similarchart.com  정확히 어떤 서비스에서 비용이 발생할까저는 2023년 10월부터 AWS를 사용하여 제 웹프로젝트를 배포하고 있습니다. 물론 프로젝트가 완성되어 배포한 건 아니고 아직 개발 단계와 테스트 단계입니다. 다행인 부분은 제 프로젝트가 생각했던 범위 내의 비용에서 실행이 일단 된다는 점입니다. 하지만 또 모르죠. 실제 완성해서 배포했더니 사용자가 10명만 동시에 사용..

프로젝트 2024.02.17

7. Redis(레디스)의 유용한 기능 - 도커 컨테이너간 정보공유

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. https://www.similarchart.com/ 비슷한 차트 검색기전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요?www.similarchart.com최근 핫한 Redis전 최신 기술/개발 동향과 효율적인 AI활용을 위해 최신 소식들을 자주 찾아봅니다. 그런데 최근에는 Redis가 자주 들려오더군요. 개발자분들이 말씀하시는 걸 들어보니 Redis가 아키텍처에 자주 등장하는 것을 보았습니다. 또한 이번학기에 DB수업을 수강할 때, 교수님께서 DB 인기 랭킹을 보여주셨는데 거기에..

프로젝트 2024.02.17

6. 파이썬 메모리 관련 주의할 점과 matplotlib 메모리누수 문제

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. https://www.similarchart.com/ 비슷한 차트 검색기전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요?www.similarchart.com   파이썬 알아서 메모리관리 해준다며.. 파이썬 메모리 주의할 점파이썬과 자바는 C와 달리 free()로 메모리 해제를 하지 않아도 자동으로 가비지컬렉터가 메모리해제를 해준다고 알고 있습니다. 하지만 함수가 길어지거나 불필요한 변수들을 신경 쓰지 않고 있으면 자신도 모르는 사이 불필요한 메모리가 계속 쌓이는 경우가 있습니다. ..

프로젝트 2024.02.17

프로젝트 - 5. 데이터 파이프라인, 데이터베이스 구조 정리

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. https://www.similarchart.com/ 비슷한 차트 검색기전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요?www.similarchart.com 모든 것을 자동화해 보자 데이터 흐름  1. 종목 리스트 업데이트맨 처음에는 코스피와 코스닥(미국은 NYSE와 NASDAQ)의 최신 종목 리스트를 불러와 기존 데이터베이스에 있는 종목 리스트와 비교하고 달라진 부분이 있으면 업데이트합니다.code : 종목코드name : 종목명ranking : 시가총액 순위valid : 해당 종..

프로젝트 2024.02.17

웹 아키텍처12 - 분산 데이터베이스 시스템(MongoDB) MySQL과 뭐가달라?

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. 비슷한 차트 검색기 similar chart finder내 종목의 차트는 상승하는 차트일까요?3.35.36.208  분산 데이터베이스 시스템 이해 저는 현재 프로젝트에 MySQL을 사용하고 있습니다. SQLD도 그렇고 대학 수업들도 그렇고 아무래도 대부분 전통적인 데이터베이스 시스템을 다루어 분산 데이터베이스 시스템을 접할 기회가 없었습니다. 하지만 분산 데이터베이스 시스템도 요즘 현업에서 많이 사용한다고 들었습니다. 그래서 오늘은 분산 데이터베이스 시스템, 특히 그중에서도 많이 쓰인다는 MongoDB에 관해 공부해 보겠습니..

웹 아키텍쳐 2024.02.17

웹 아키텍처7 - 데이터 파이프라인(나는 데이터 파이프라인을 사용하는 걸까?)

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(5년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. 비슷한 차트 검색기 similar chart finder내 종목의 차트는 상승하는 차트일까요?3.35.36.208  웹 아키텍처에서의 데이터 파이프라인공부하기 전인 지금, 데이터 파이프라인이라고 하면 그냥 데이터를 처리하는 과정이라고 알고 있습니다. 데이터 파이프라인만 특히 신경 써서 알아보거나 조사해 볼 생각은 없었습니다. 제 프로젝트는 파이썬 라이브러리로 주가 데이터를 수집하고 정제하여 요청에 필요한 데이터를 준비하는 도커 컨테이너가 있는데, 이 부분이 데이터 파이프라인과 연관이 있을 것 같긴 하네요. 한번 공부해 보겠습니..

웹 아키텍쳐 2024.02.17

웹 아키텍처6 - 전문 검색 서비스와 ElasticSearch

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(5년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. 비슷한 차트 검색기 similar chart finder내 종목의 차트는 상승하는 차트일까요?3.35.36.208  웹 아키텍처에서의 전문 검색 서비스 이해이번 학기(3-2)에 '정보검색과 웹' 강의와 '데이터베이스' 강의를 수강하며 ElasticSearch에 대해 알게 되었습니다. 아직 배우진 않았지만 보아하니 데이터베이스 인기순위 7위에 올라와있고, 뭔가 기존에 알던 데이터베이스와는 다른 느낌이었습니다. 웹 아키텍처에서도 전문 검색 서비스라는 항목이 있던데, 오늘 이것이 어떤 역할을 하는지 공부해 보겠습니다.참고로 전문(s..

웹 아키텍쳐 2024.02.17

웹 아키텍처4 - 캐싱 시스템과 Redis (23.11.9)

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(5년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. 비슷한 차트 검색기 similar chart finder내 종목의 차트는 상승하는 차트일까요?3.35.36.208  웹 아키텍처에서의 캐싱 시스템에 대한 이해 '캐싱'이라는 개념은 웹뿐만이 아니라 IT 전반적으로 매우 중요하고 자주 보는 개념인 것 같습니다. 운영체제를 공부할 때에도 캐시를 많이 봤던 기억이 있네요. 지금 생각해 보면 운영체제를 배울 때 나왔던 알고리즘과 개념들이 다른 것들을 공부할 경우에도 기반이 되어 많은 도움을 주는 것 같습니다. 왜 운영체제를 공부해야 하는지 계속 실감하고 있습니다. 최근에 웹 아키텍처에..

웹 아키텍쳐 2024.02.17

웹사이트를 만들기 전, 웹 아키텍처부터 알아보자(23.11.9)

제 프로젝트는 사용자가 특정 차트를 고르면, 코스피 코스닥 전 종목의 과거(5년) 차트들을 모두 탐색하여 가장 유사한 차트 10개 정도를 골라 사용자에게 보여주는 것이 목표입니다. 비슷한 차트 검색기 similar chart finder내 종목의 차트는 상승하는 차트일까요?3.35.36.208   웹사이트를 제작해 보자. 그전에.. 저는 특정 주식의 차트를 고르면, 그 차트와 비슷한 과거의 차트를 찾아주는 웹사이트를 만들고 있습니다. 그런데, 웹 아키텍처를 전체적으로 이해하지 않은 상태에서 제대로 설계하지 않고 무작정 웹사이트부터 만들기 시작하면, 향후 웹을 확장하거나 수정하거니 구조를 변경할 경우 꽤 힘든 경우가 생길 수 있습니다. 그래서 웹 아키텍처를 전체적으로 공부한 다음, 웹사이트를 제작하려고 합..

웹 아키텍쳐 2024.02.17

실전! 스프링 데이터 JPA 강의 듣고 정리(23.2.25)

사용자가 특정 차트를 고르면, 전 종목의 과거(10년) 차트들을 모두 탐색하여 가장 유사한 차트 10개를 골라 사용자에게 보여줍니다. 웹프로젝트 링크 비슷한 차트 검색기 전 종목의 최근 10년간 모든 차트를 탐색합니다. 내 종목의 차트는 과연 상승하는 차트일까요? www.similarchart.com 김영한 개발자님의 실전! 스프링 데이터 JPA 강의를 수강하고 중요한 점이나 인상 깊었던 점을 간단히 정리했습니다. 목차 1. 쿼리 메소드 기능 2. 페이징과 정렬 3. 벌크성 수정 쿼리 4. @EntityGraph 5. 사용자 정의 리포지토리 구현 6. Auditing 7. Web 확장 - 도메인 클래스 컨버터 8. Web 확장 - 페이징과 정렬 9. 새로운 엔티티를 구별하는 법(중요) 공통 인터페이스 -..

스프링 2024.02.16
반응형