크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15

조회 91 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음

요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고

물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템

하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨

크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임

뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음

크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	해외에서 겪는 불합리한 대우에 대응 잘 할 것 같은 스타는?	운영자	25/11/03	-	-
AD	저녁 뭐먹지? 오늘의 메뉴 추천!	운영자	25/10/31	-	-
공지	프로그래밍 갤러리 이용 안내 [97]	운영자	20.09.28	48533	65
2901049	에헴, LLM을 초월한 AGI 자가 수정 알고리즘	나르시	14:56	1	0
2901048	ik 포기할란다 와 씨발	루도그담당(58.239)	14:43	13	0
2901047	코드 읽는 방법 배울만한 강의나 책 추천 부탁드립니다	프갤러(220.67)	14:43	5	0
2901046	난 이번에 안전성, 신뢰성 관련 두가지 발명을 하였다.	나르시	14:40	7	0
2901045	부트캠프한테 고마워서 노래 만들어봄	프갤러(116.32)	14:15	16	1
2901044	vello 사례) 러스트로 만들어도 안전하지 않습니다.	나르시	14:10	12	0
2901043	현대 중국의 뿌리	chironpractor	14:08	10	0
2901042	아 배불러 [5]	배구공(119.202)	13:54	34	0
2901040	여친의 판도라상자를 열었는데 미치겠어요 [3]	ㅇㅇ(125.190)	13:53	22	0
2901038	3.3퍼만 떼고 일 시키는 곳이랑 먹고 살 수가 없지 [5]	에이도비	13:01	40	0
2901036	아동성애 [1]	류류(121.140)	12:41	30	0
2901033	쿠팡 노조는 새벽배송 원하는거 같은데	chironpractor	12:17	25	0
2901032	일본 다카이치 총리 지지율 82% 고공행진의 이유 [3]	♥KiTTY냥덩♥	11:55	33	0
2901031	대부분의 러빨럼의 실체 [3]	나르시	11:45	25	0
2901029	[소프트웨어] Rx KMeans AL	프갤러(121.172)	11:23	21	0
2901028	韓 AI, 유럽 주요 모델에 앞서....中 딥시크 바짝 추격 [1]	ㅇㅇ(118.235)	11:18	52	1
2901027	[소프트웨어] Rx Long Shadow 2D	프갤러(121.172)	10:59	20	0
2901026	그래말리 갈수록 성가시네 [2]	chironpractor	10:48	36	0
2901022	중국발 먼지 또 시작되는듯	♥KiTTY냥덩♥	09:32	36	0
2901020	단풍도 이쁘지만 이것도 이뻐..ㅇㅅㅇ [3]	헤르 미온느	08:50	50	0
2901019	태연 ㅇㅅㅇ	헤르 미온느	08:48	17	0
2901018	하루 한 번 헤르미온느 찬양 [1]	헤르 미온느	08:47	41	0
2901017	html알바했던 썰 [10]	슈퍼막코더(126.194)	08:41	73	1
2901016	타로사이트를 몇달간 쳐만들고 버그도 있으면 폐급이잖아 [1]	ㅇㅇ(118.235)	08:19	62	4
2901015	언어는 도구다. 틀린 말은 아니야 [1]	프갤러(223.33)	07:58	52	2
2901014	러스트 안해본 사람은 향상심을 거세당한거임 [1]	프갤러(211.234)	07:39	39	0
2901013	10년 내에 싹 다 러스트로 교체됨	프갤러(218.153)	07:31	34	0
2901012	나는조현병이야 나는내향적이야 [1]	손발이시립디다	05:49	60	0
2901009	요새 메이크 닷컴<<이거 시나리오 의뢰 존나 들어오노 [1]	ㅆㅇㅆ(124.216)	04:45	54	0
2901008	vsc 컴파일 관련 문제 질문	LeNa	04:31	25	0
2901007	파이널 IK 크랙 받아가지고 쓰는중인데	루도그담당(58.239)	03:31	30	0
2900994	직업수명의미없다 빌게이츠가10년내 싹대체된다함	프갤러(175.197)	02:33	34	0
2900992	비트는 100k 몇번 더 왔다갔다 할거같은데 [2]	따당	02:03	58	0
2900991	ㅆㅇㅆ저새끼 개웃긴게	ㅇㅇ(218.149)	01:22	86	6
2900990	음기 충전	발명도둑잡기(118.216)	01:11	71	0
2900989	고니시 유키나가가 문경과 새재에서 히데요시에게 보낸 편지 [1]	책사풍후	00:10	35	0
2900988	와 나 대구에서 임금 체불 300만 떼먹힌걸로 피눈물 흘렸었는데	ㅆㅇㅆ(124.216)	11.06	194	9
2900986	[애니뉴스] 미소녀 시뮬레이션 게임에 대한 고찰	프갤러(121.172)	11.06	33	0
2900985	나님 프갤 뛰뛰크루 만들어볼깡? [2]	♥KiTTY냥덩♥	11.06	46	0
2900984	[애니뉴스] 코노스바 게임 관련 자료 + 이미지 + 카제나 짧은 평	프갤러(121.172)	11.06	26	0
2900982	아무래도 전 회사 다니면서 해마와 뇌량 수축이 생긴거 같아 [2]	chironpractor	11.06	53	0
2900981	모기 때문에 자는거 존나 밀렷네 ㅅㅂ [2]	♥KiTTY냥덩♥	11.06	79	0
2900980	나님 겨우 모기 때문에 쫓겨낫오.. 너무 처량행..	♥KiTTY냥덩♥	11.06	66	0
2900979	모기한테 쫓겨서 피난 나왓당..	♥KiTTY냥덩♥	11.06	68	0
2900978	요즘 존나 문란해서 aws 툴 키디들이 나 인프라 전문가입네 이지랄 [1]	프갤러(211.234)	11.06	57	0
2900977	나는 아직도 왜 자바가 클래스 패스 모듈 패스 따로 두는지 모르겠어	ㅆㅇㅆ(124.216)	11.06	39	0
2900976	중학생 수준 문해력 테스트라고 하는데 어려운듯..	♥KiTTY냥덩♥	11.06	38	0
2900974	그러고보니 내가 러스트 빠는 이유중에 하나가 클라우드 비용이었지 [3]	프갤러(211.234)	11.06	71	0
2900972	시체 못 찾아서 혹시햇더니 역시 살아잇엇음 ㅅㅂ [3]	♥KiTTY냥덩♥	11.06	90	0