크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15

조회 61 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음

요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고

물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템

하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨

크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임

뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음

크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	군대 예능 출연해 줬으면 싶은 여자 스타는?	운영자	25/09/15	-	-
공지	스크랩 기능 개선 안내	운영자	25/09/15	-	-
AD	가전디지털, 액세서리 SALE	운영자	25/09/12	-	-
공지	프로그래밍 갤러리 이용 안내 [96]	운영자	20.09.28	47175	65
2889292	ㅆㅇㅆ이 오늘 털리는 이유 뭔가 글 봤더니	나르시	15:23	16	0
2889291	역시 무능한 늙은이들이 제일 문제임	프갤러(125.131)	15:04	21	2
2889290	ㅆㅇㅆ 얘는 인간이 글러 먹었어. 인격도 처참하고	나르시	15:03	20	1
2889289	나님은 지금 Ada 예외처리 글 작성하냐 정신이 없다 [1]	나르시	14:56	27	0
2889288	121.139는 내가 아냐. 난 유동으로 글 안 써.	나르시	14:51	20	0
2889287	난 어찌한게 없는데 갑자기 내 욕이냐? [4]	나르시	14:49	33	0
2889285	루비 여기없는데 왜자꾸 쉐도우복싱하냐 ㅋㅋ	프갤러(121.139)	14:45	23	0
2889284	루비 여기에 없는데 왜자꾸 욕하는거지?	프갤러(121.139)	14:35	40	1
2889282	개발 때문에 맥북충 = ㅂㅅ [1]	♥냥덩이♥	14:12	31	0
2889281	루비 저새끼는 왜 지가 AI 쓴다고 내가 AI로 글 쓸거라 생각하지 [3]	ㅆㅇㅆ(124.216)	14:04	60	0
2889279	ai로 글다듬고, 남에게 잘보일려고 애쓰고 [1]	프갤러(121.139)	13:51	49	1
2889278	저수준은 트랜지스터로 컴퓨터 만들어야 저수준이다.	프갤러(218.154)	13:39	28	0
2889277	이쪽 바닥도 저수준이라는 바운더리가 넓은데	루도그담당(118.235)	13:39	29	0
2889276	프갤에서 현업에서 안쓰는거 떠들 수도 있지. [8]	프갤러(218.154)	13:37	49	0
2889275	❤✨☀⭐⚡☘⛩나로님 시작합니당⛩☘⚡⭐☀✨❤ [2]	Naro	13:36	18	0
2889274	이게 저수준의 가장 큰 문제가 어느수준의 저수준까지 이걸 이야기 못함 [3]	ㅆㅇㅆ(124.216)	13:31	63	0
2889273	고딩이 ai로 칼로리 계산하는거 만들어서 부자됬다는데 [1]	프갤러(121.139)	13:29	33	0
2889271	❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤	♥냥덩이♥	13:19	18	0
2889270	지피티만 써보면서 공부에 도움된건 없었음	루도그담당(118.235)	13:18	23	0
2889269	하루에 오조오경억조만경줄 감사의 코딩 [6]	공기역학	13:15	36	0
2889268	아무도 모르니깐 지금 출발하란거지	ㅇㅇ(223.38)	13:14	22	0
2889267	프갤 오는 애들 가장 큰 문제가 경로의존성임. [2]	ㅆㅇㅆ(124.216)	13:10	59	0
2889266	나는 젤 이해가 안가는게 프레임워크 만들것도 아니고 세부 구현한다는게 좀 [12]	ㅆㅇㅆ(124.216)	13:04	69	0
2889265	지금 공부하는 고딩들이 ㄹㅇ 개꿀이지 [1]	프갤러(121.139)	13:01	37	2
2889264	프레임워크 만들것도 아닌데 세부구현 왜 알려고? [2]	ㅆㅇㅆ찡	12:52	41	0
2889263	세부 구현을 까볼 필욘 없지 [1]	루도그담당(118.235)	12:49	17	0
2889262	개인적인 생각으로 이번년도가 지식계층 이동수단 [4]	ㅇㅇ(223.38)	12:43	50	0
2889261	[대한민국 + 애니뉴스] 다가오는 경제 위기와 애니뉴스 사이트 추가 사	프갤러(121.172)	12:40	14	0
2889260	❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤	♥냥덩이♥	12:39	15	0
2889259	너뮤 어렺다	프갤러(193.148)	12:27	18	0
2889258	좆같은게 큰 의뢰는 잘 안들어오고 자잘한 프로그래밍 의뢰만 들어옴	ㅆㅇㅆ(124.216)	12:27	24	0
2889257	ㅋㅋㅋㅋㅋ [1]	프갤러(14.46)	12:26	22	0
2889256	이번달은 납품 한 5개해서 100만 벌었음 [5]	ㅆㅇㅆ(124.216)	12:23	36	0
2889254	취직도 안해본놈이 뭔 사업이냐 ㅋㅋ	프갤러(121.139)	12:15	49	2
2889253	코테 솔직히 개쓸모없음 [2]	루도그담당(118.235)	12:14	55	0
2889252	코테 없이 경력 이직 가능하냐?? [2]	프갤러(175.197)	12:09	45	0
2889251	아오 호동아 형 글에 댓글 쳐 달지말라고 121.139 아이피로	ㅆㅇㅆ(124.216)	12:07	14	0
2889250	토마 피케티가 말했잖아 자본 수익률이 임금성장률 앞서면	ㅆㅇㅆ(124.216)	12:05	16	0
2889249	그냥 이제 한국 사회는 개도국 끝났고 선진 사회로 넘어가면서	ㅆㅇㅆ(124.216)	12:02	30	0
2889248	아 짤리고 싶다..	ㅇㅇ(211.234)	12:02	18	0
2889247	드라이버 개발 공부하고 있는데 취미로	루도그담당(118.235)	12:02	16	0
2889246	일본처럼 가겠지. 좋은 일자리는 없고 후진 일자리만 남는거야	ㅆㅇㅆ(124.216)	11:58	19	0
2889245	사실 인구가 대거 없어졌으면 좋겠음 [2]	루도그담당(210.104)	11:58	24	0
2889244	신입도 안되본놈이 숙련자 경력자 선호 이러고있네 ㅋㅋ	프갤러(121.139)	11:57	24	0
2889243	루비 좆밥년은 왜 자꾸 내 글에 댓글다냐 [1]	ㅆㅇㅆ(124.216)	11:55	28	0
2889242	경기 침체기에는 항상 신입보다 숙련/경력자가 선호됨 [2]	ㅆㅇㅆ(124.216)	11:50	45	0
2889241	오히려 AI 나오면서 기존 개발자는 더 고마워해야지	ㅆㅇㅆ(124.216)	11:49	27	0
2889236	비전공 국비는 ai 개발 조무사들 욕하지 마셈	ㅇㅇ(221.146)	11:32	33	0
2889235	AI 출시로 기존 고경력개발자들은 노년까지 일하게 되지 않을까? [2]	Naro	11:32	35	0
뉴스	전 펜싱 국가대표 남현희, 2년 만에 사기 사건 공범 누명 벗어...전청조 재벌 3세라 믿어	디시트렌드	09.14