디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 53 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 현대물보다 사극에서 더 빛나는 남자 배우는? 운영자 25/09/08 - -
AD 가전디지털, 액세서리 SALE 운영자 25/09/12 - -
2888638 “한의사를 공공의사로 전환하자” 국민 찬성 여론 70% 육박 발명도둑잡기(118.216) 09.12 25 0
2888637 요즘 바이브코딩 한다고 깝치는새끼들 왜이리 줫같지 [5] 프갤러(220.94) 09.12 74 0
2888636 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.12 71 0
2888635 오늘 자전거 타다가 휴대폰 놓쳐서 아래 부분 약간 깨졌다 발명도둑잡기(118.216) 09.12 23 0
2888633 야차룰이 아니라 스파링이겠지 병신아 ㅇㅅㅇ 류류(118.235) 09.12 33 1
2888632 주갤도태남 롤대남 2찍 4찍이 발악하는거라 류류(118.235) 09.12 28 0
2888631 류류 조루디(118.235) 09.12 32 0
2888630 류류 조루디(118.235) 09.12 27 0
2888629 류류 조루디(118.235) 09.12 34 0
2888628 하기야 고졸 백수 무직인데 개병대가 유일한 부심이지 류류(118.235) 09.12 26 0
2888627 일본 이지랄 [1] 프갤러(106.102) 09.12 42 0
2888626 류류 [1] 조루디(118.235) 09.12 41 0
2888625 인생 업적이 군필인가 보네 류류(118.235) 09.12 27 0
2888623 이건 뭔 에러냐 [1] 류류(118.235) 09.12 51 0
2888622 류류야 형 해병대인데 야차룰뜰래? [1] 프갤러(106.102) 09.12 45 0
2888621 106.102 <- 육수 롤대남 관리 안하냐 ㅇㅅㅇ 류류(118.235) 09.12 29 0
2888620 류류 저새끼 공익임 [1] 프갤러(106.102) 09.12 42 0
2888619 죽으려고할때 부추긴 친구들 [4] 조루디(118.235) 09.12 54 0
2888618 롤대남 긁혔네 류류(118.235) 09.12 29 0
2888617 페도새끼들 공통점 [1] 프갤러(106.102) 09.12 45 0
2888616 106.102 얘 조루디 육수인데 류류(118.235) 09.12 32 0
2888615 성형하고 별창을 했어야지 [2] 류류(118.235) 09.12 43 0
2888614 조루디 30살 넘지않음? [4] 류류(118.235) 09.12 55 0
2888612 옵챗 [2] 조루디(118.235) 09.12 50 0
2888611 류류 애미터진 병신페도새끼가 누나한테 뭐래냐 [1] 프갤러(106.102) 09.12 39 0
2888610 심심 [1] 조루디(118.235) 09.12 35 0
2888609 류류 [1] 조루디(118.235) 09.12 32 0
2888608 개발자에 보이지않은 계급이 있읍 [3] 조루디(118.235) 09.12 59 0
2888607 백수시절에 나 어땟어 [3] 조루디(118.235) 09.12 51 0
2888606 ㅎㅁㅅㅌ가 누군데 ㅇㅅㅇ 류류(118.235) 09.12 26 0
2888605 지금 자바 국비 하는거 영 아니겠지? [1] 프갤러(222.233) 09.12 71 0
2888604 한국은 선두에서서 뭘바꾼적이 한번도 없는나라다 프갤러(121.139) 09.12 25 0
2888602 메타는 한국뽕 취해서 퓨리오사 인수하려는거 보면 프갤러(121.139) 09.12 51 0
2888601 힘들다 ㅎㅁㅅㅌ가 죽으라고 할때 죽을걸 [2] 조루디(118.235) 09.12 63 0
2888600 프로그램 개발, 몰라도 너무 모른다. 프갤러(59.16) 09.12 32 0
2888599 지능장애는 개발자 포기해야하냐 [1] 조루디(118.235) 09.12 49 0
2888598 밥먹으러간다 다들 불금 잘보내셈 [1] 프갤러(121.139) 09.12 43 0
2888597 개발자 때려칠까 [1] 조루디(118.235) 09.12 74 0
2888596 퓨리오사가 뭔데 nvida를 대체한다고 하는거임? [1] 프갤러(121.139) 09.12 61 0
2888595 2년차 돈은 꽤버는데 [5] 조루디(118.235) 09.12 109 0
2888594 프로그래밍 입문하고 싶은데 [1] ㅇㅇ갤로그로 이동합니다. 09.12 35 0
2888593 잘지내냐 [2] 조루디(118.235) 09.12 47 0
2888592 이거 텃새냐? [2] 프갤러(59.16) 09.12 49 0
2888591 한국인은 착한듯 [1] ㅇㅇ(175.197) 09.12 39 0
2888590 노래들어요 [2] 배구공(119.202) 09.12 35 0
2888589 풍산 추가로 샀다 [1] hrin(114.160) 09.12 49 0
2888588 일본 좋네 [3] hrin(114.160) 09.12 52 0
2888587 부산 우리동네에 호텔아조씨가 식당하는곳있는데 ㅇㅇ(175.197) 09.12 29 0
2888586 흠.. 10월내로 가능할수도? [2] ♥냥덩이♥갤로그로 이동합니다. 09.12 41 0
2888585 프갤엔 장애인들이 많아서 올때마다 항상 신선하네 ㅋㅋ [4] 프갤러(121.139) 09.12 67 0
뉴스 '마지막 썸머' 김건우, 승률 99% 항소심 전문 변호사 서수혁 役으로 출격! 디시트렌드 09.12
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2