07.16 @gather_here

 

 

📌 기록보드

 

1. 서비스이름 선정

'@gather_here'

(컨퍼런스 / 스터디 / 팀프로젝트 모을 때 사용하는 사이트)

‘@’ 를 사용해 멘션하는 것을 차용함. ‘gather_here’ 라는 명칭도 직역하면 ‘여기 모여’ 라는 뜻이라 직관적인 이름이라고 생각

 

2. 기능 명세서 작성

기술 명세서에 대해서 작성함. 목적은 아래와 같음.

  1) MVP 설정

  2) 기능 별로 페이지 구분을 위해

  3) 기능 별로 난이도 파악 후 전체 개발 일정을 파악하기 위해

  4) 추후 테스트 시 누락된 기능이 있는지 파악하기 위해

 

3. 기능 명세서 : ( 회원가입 / 로그인 )

초안으로 작성한 기능 명세서를 보완하는 시간을 가짐.

서비스를 이용할 시, 소셜 로그인으로만 회원가입 / 로그인이 가능하도록 함. ( supabase사용예정 - google | kakao | gitHub )

개인 정보 제공 동의 등 여러 약관을 처리할 때 문제가 없는지 추가 확인이 필요하나

현재 단계에서는 회원가입 / 로그인을 하나의 버튼으로 처리하도록 설정함.

이후 마이 페이지의 기능 명세서를 보충할 예정.

 

4. 웹 크롤링 도구 정하기

JS 를 통한 웹 크롤링 vs 파이썬을 이용한 웹 크롤링

수집한 프로젝트는 마감기한에 따라 주기적으로 데이터 추가 / 삭제를 진행해야함

파이썬을 통해 데이터 전처리를 한 뒤, csv 로 만들어서 주기적으로 갱신할지.

JS 를 통해서 데이터를 직접 전처리하고 supabase 에 넣을지?

 

[ 파이썬으로 웹 크롤링 ]

∙ 이점

1. 간결하고 읽기 쉬운 코드: 파이썬은 간결하고 가독성이 높은 코드 작성을 지원하여, 크롤링 스크립트를 빠르게 작성할 수 있다.
2. 풍부한 라이브러리: Beautiful Soup, Scrapy, Requests, Selenium 등 다양한 웹 크롤링 관련 라이브러리가 존재하여, 다양한 요구 사항을 충족할 수 있다.
3. 커뮤니티 지원: 파이썬은 매우 큰 커뮤니티를 가지고 있어, 문제 해결에 필요한 자료나 도움을 쉽게 찾을 수 있다.
4. 데이터 분석과 통합 용이: 파이썬은 데이터 분석 라이브러리(예: pandas, NumPy)와의 통합이 쉬워, 수집한 데이터를 바로 분석할 수 있다.

∙ 단점

1. 성능: 파이썬은 인터프리터 언어이기 때문에, 성능 면에서 컴파일 언어보다는 느릴 수 있다. 대규모 데이터 크롤링 시 성능이 저하될 수 있음
2. 병렬 처리의 제한: 기본적으로 파이썬의 GIL(Global Interpreter Lock) 때문에 멀티스레딩 성능이 제한될 수 있다. 하지만 멀티프로세싱이나 비동기 처리를 통해 이를 극복할 수 있음

[ 자바스크립트로 웹 크롤링 ]

∙ 이점

1. 동적 웹사이트 처리 용이: 자바스크립트는 브라우저 환경에서 기본적으로 작동하기 때문에, 동적 웹페이지를 처리하는 데 유리함. Puppeteer와 같은 도구를 사용하면 자바스크립트를 실행하는 웹사이트를 쉽게 크롤링할 수 있다.
2. 비동기 처리: 자바스크립트는 비동기 처리를 기본으로 지원하므로, 비동기 크롤링 작업을 효율적으로 수행할 수 있다.
3. Full-stack 개발: 프론트엔드와 백엔드를 모두 자바스크립트로 개발할 수 있어, 한 가지 언어로 전체 애플리케이션을 관리할 수 있음

∙ 단점

1. 복잡성 증가: 자바스크립트는 브라우저와 서버 사이드에서 모두 사용될 수 있어, 설정과 사용법이 복잡할 수 있다.
2. 라이브러리의 제한: 파이썬에 비해 웹 크롤링과 데이터 분석에 특화된 라이브러리의 수가 적을 수 있다.
3. 성숙도: 자바스크립트를 사용한 웹 크롤링 도구들은 파이썬의 일부 도구들에 비해 상대적으로 덜 성숙할 수 있음

비교와 선택

• 작업의 복잡성: 단순한 웹 크롤링 작업이라면 파이썬이 간편하고 빠를 수 있고, 복잡한 동적 웹페이지를 다뤄야 한다면 자바스크립트의 Puppeteer가 유리
• 데이터 분석: 수집한 데이터를 즉시 분석해야 한다면 파이썬이 더 적합
• 성능: 비동기 처리가 필요한 대규모 크롤링 작업에서는 자바스크립트가 더 나을 수 있음
• 개발 생태계: 전체 애플리케이션을 자바스크립트로 개발하고 있다면, 자바스크립트로 크롤링을 진행하는 것이 더 통합적일 수 있다.

결론적으로, 어떤 언어를 사용할지는 크롤링하려는 웹사이트의 특성, 데이터 처리 요구사항, 개발 환경 등에 따라 다르다. 두 언어 모두 장단점이 있으니, 필요에 맞게 선택