갤러리 이슈박스, 최근방문 갤러리
개념글 리스트
1/3
- 군침군침 박명수가 한국에 들여오고 싶다는 요르단 디저트 쿠나파 수인갤러리
- 현재 갤에서 논란중인 원조 볶음밥 백갤러
- 서양에서 굴 값이 비싼 이유 ㅇㅇ
- 음방 1위하기까지 2,793일 ㅇㅇ
- 싱글벙글 논란의 저작권 시즌n번째 ㅇㅇ
바이브코딩 '해줘' - 솔루션편 (1/2)
- 관련게시물 : 바이브코딩 '해줘' - 가설편??? : '바...바이브코딩은 개발자를 대체 못한다...!!!'누군가 눈물을 머금고 저런 말들을 많이 하고 있다. 솔직히 말하면 나도 약간 그런 종류였고.하지만 개발자의 특정한 기능들은 이미 AI에 의해 대체가 되어 버렸는데, 이 악물고 현실부정 하고 싶은것이 사실이기도 하다.하지만 X-ray, MRI가 개발됨으로 인해 '진단의 일부 기능'이 대체 된 것은 맞지만, 의사라는 직업이 사라지진 않았다.그렇다면 아직 완벽하게 대체되지 않은 '개발자가 가진 기능'은 무엇일까?바이브코더들에게 부족한 바로 이 '대체 안 된 개발자 직무의 기능'은 무엇일까?-가 바로 내가 던지고 싶은 프로토타입의 질문이다. Feat. 너희도 개발자, 될 수 있어! ( 하지만 그냥은 아니야 )혹시 '메멘토'라는 영화를 본 적이 있는가? 인셉션/다크나이트로 유명한 놀란 감독의 작품인데...이 영화의 주인공은 졸라 똑똑한데도 불구하고 머갈통이 터져서 단기기억 상실증에 걸려서 기억력 지속이 10분밖에 안된다.그래서 절.대.로 잊어버리면 안되는건 몸에다가 새겨서 타투를 하고 다닌다.그리고 AI도 똑같이 절대로 잊어버리면 안 되는 내용들은 타투(장기기억/보관메모리)에 내용을 적을 수가 있는데 문제는 몸에다 새길 수 있는 타투의 양은 얼마 안된다는 것이다.근데 기억력이 나쁘다고 해서 이 똑똑한 주인공과 일을 안 할 수는 없다.기억력이 나쁜거지, 똑똑한건 맞잖아?그러니까 기억력이 좀 나쁜건 그냥 그러려니 하고 함께 열심히 일을 한다. 근데 메멘토의 주인공이 10분지나면 기억을 다 잊어버리듯, AI도 좀 일하다보면 전에 말한 내용을 다 잊어버린다.= 이 것이 바로 우리가 AI와 함께하는 채팅창(인스턴스 세션)인 셈이다.( 커서나 윈드서프같이 API를 사용하는 환경이라도, 하나의 세션을 관리하는 주체가 토큰량 설정을 어떻게 하느냐에 따라 결국 제한은 반드시 찾아옴 )= 이래서 바이브코딩을 할 때 답답해지는거다.그렇게 주인공(레너드, AI)이랑 열심히 함께 일을 하다가, 주인공(레너드, AI, 36세)이 지금 기억력이 간당간당한 순간에...'어이 김씨. 지금 사진한방 찍읍시다. 내가 기억력이 좀 나빠서 기억좀 할라고'라고 말하면, 사진을 찍어서 보관해 놓을 수 있긴 한데....저거 사진 찍은걸 나중에 보면 뭐 주인공(레너드, AI)이 나중에 내용을 참고 할 수는 있겠지만... 그렇다고 해서 기억상실증 걸린 양반이 기억이 돌아오는건 아니잖아?그래서 우리는 최대한 '효율적인 사진찍기'에 온몸 비틀기를 하면서 공을 들이고 있는 것이다.이걸 -> RAG, 캐싱 메모리, 컨텍스트 압축 등... 여러가지 말과 용어로 이래저래 다양한 개념을 제안하긴 하는데... 결론은 그거다.'사진 한장에 온몸비틀기 하면서 최대한 뭔가 쑤셔넣기'그럼 당신에게 이제 묻는다.기억상실증 걸린 AI한테 뭔가 설명해야 한다면, 당신은1. 말로 설명 할래?2. 사진으로 줄래?뭐 둘다 해도 되지만... 매번 '말로 설명'하기엔 당신이 지칠 것이다. (이게 일반적으로 우리가 하는 방식)10분마다 한번씩 설명해야 하고, 한번 설명하는데 시간도 오래 걸리잖아?그냥 사진 찍어서 주는게 차라리 낫지... (이게 캐싱이니 스냅샷이니 압축이니 정제니 뭐니 하는 방식)실제로 AI의 세션 컨텍스트가 망가질 때 마다 매번 이러한 압축 스냅샷을 만들어 다음 세션에 전달하는 것은 꽤나 번거로운 일이다.일부 서비스에서는 이러한 부분을 자동화 시키고 있기도 하지만, 당신이 원하는 '정확한 스냅샷'을 만들어줄 수 있을지는 모르는 일이다.당신은 금붕어를 찍고 싶었는데, AI 서비스는 어항에 포커스를 맞춰 버릴 수도 있는 일이니까.( 이처럼 벡터 임베딩 과정에서의 데이터 포이즈닝 문제는 여전히 여러분들이 크게 경험할 수 있는 배드-유즈 케이스라고 볼 수 있다. )그래서 이런 '스냅샷'이라는 개념을 구현하기 위해 AI씬에서는 여러가지 기법들을 온몸비틀기 하면서 개발하고 구현하고, 합치고...뭐 대충 그러고 있는 것이다.왜 이런 문제가 발생하냐고?혹시 AI가 어떤식으로 데이터를 가공하고, 여러분과 말하는지 궁금하지 않은가?일반적으로 AI는 데이터를 벡터 차원에 저장해놨다가, 그 것에 대한 유사성 접근으로 비슷한 정보들을 꺼내온다.무슨 소리냐면...대충 아래 세개는 여러분들도 다 알 것이다. 그러면 3차원을 넘어가면 어떻게 되느냐?바로 4차원 시공간의 세계.... 가 아니라, 이후의 좌표를 벡터 좌표계로 분류하여 군집도를 측정한다.시각적으로 정확하게 나타 낼 수는 없지만 대충 아래와 같다. (실제로는 차원 축소 작업을 하므로 아래와 동일할수는 없지만, 개념적 접근으로서)갑자기 이 말을 꺼낸 이유는, 기존 우리 사람들이 인지하는 방식을 기준으로 뭔가를 물어보고 찾는다는 개념은,사람이 '남자고추'를 구글에서 검색하면 텍스트 [남자고추]를 데이터베이스에서 찾는데,AI는 [남자고추]를 찾기 위해 이러한 '비교방식'이 아니라 위와 같이 '개념적 위치'의 응집/군집 모양을 찾는다.그래서 [컨텍스트]를 잘 전달한다라는 개념은 이러한 [모양]을 다음 AI에게 재현 가능하도록,즉 AI가 걔네 머리속에서 저런 [좌표계 벡터 모형]을 최대한 비슷한 모양으로 만들 수 있게 해준다는 뜻이다.우리가 '섹스 남자 고추에 여자 엉덩이 쪽에 너어서 여자는 앙 이라고하고 남자는 개좋아함 섹스 여자가슴 ㅈㄴ큼'이라는 문장을 AI에게 입력하면1. AI는 위의 글자들을 각자섹스 - (123,234,345,456,567,678,312,243,....몇백 몇천차원)남자 - (423,534,131,532,423,111,312,323,...몇백 몇천차원)고추에 - (423,555,333,221,234,324,123,434,....몇백 몇천차원)->이런식으로 500차원 ~ 4천차원, 모델에 따라서는 그 배수의 차원->저장되어 있는 위치에 접근2. 그리고 사용자가 요청한 위치를 기반으로 근처에 있는것들 비슷하게 생긴 다차원 그래프 모형을 만듬.-> 그리고 그걸 사람이 볼 수 있는 언어, 사진, 비디오 같은거로 다시 번역해서 보여줌.-> 그게 우리가 보는 결과물.따라서 우리도 우리의 프로젝트의 정보를 AI가 잘 찾을 수 있게 미리 가공해 두면 좋을 것이다.바로 단기기억 상실증에 걸린 레너드를 위해서!다시 본론으로 돌아와서,아무튼 이 AI라는 새끼는 기억력 지속이 10분밖에 안된다. ㅆㅂ년...그래서 당신이 '이전에 하던 작업'을 설명 하기 위해, 다음에 시작한 10분짜리 세션에서 이전의 대화를 설명하기 위해 1분을 할애할지, 5분을 할애할지에 따라서...당신이 총 10분동안 작업할 수 있는 '남은 컨텍스트의 양'이 달라지는 것이다.채팅 기억의 총 량 : [ ------------------------- ]그 다음 채팅 세션 : [---][--------------------] // 이전 채팅의 대화를 빨간색으로 압축. 그리고 쓸 수 있는 나머지 용량.// 압축을 많이 할수록 (최대한 저번 대화를 요약) -> 작업은 많이 할 수 있겠지만 -> 대신 맥락을 잃는다.그 다음 채팅 세션 : [-----------][------------] // 이전 채팅의 대화를 빨간색으로 압축. 그리고 쓸 수 있는 나머지 용량.// 압축을 적게 할수록 (저번 대화를 최대한 가져옴) -> 이전에 하던 것과 비슷한 일을 자세히 할 수는 있지만 -> 대신 일을 앞으로 많이 못한다.그러나 위의 말이 반드시 진실은 아닌데, 아래 상황을 보자.[ 케이스 1 ]Q. "우리 특갤쿤. 지금부터 내가 한가지 단어를 얘기할건데 외우세요."A. "넵, 무슨 단어이죠?"Q. "자지보지섹스"A. "넵, 외웠습니다."[ 케이스 2 ]Q. "우리 특갤쿤. 지금부터 내가 한가지 문장을 얘기할건데 외우세요."A. "넵 무슨 문장이죠?"Q. "캠릿브지 대학의 연결구과에 따르면, 한 단어 안에서 글자가 어떤 순서로 배되열어 있지는 중요하지 않고, 첫 번째와 마지막 글자가 올바른 위치에 있는 것이 중다요하고 한다. 나머지 글들자은 완전히 엉진망창의 순서로 되어 있라을지도 당신은 아무 문제 없이 이것을 읽을 수 있다. 왜하냐면, 인간의 두뇌는 모든 글자를 하하나나 읽는 것이 아니라 단어 하나를 전체로 인하식기 때이문다."A. "이걸 어떻게 외워요 시발"그럼 이제 현실적인 빡침이 남는다. ( LLM프로덕트 스펙 레벨의 기술적 캐싱이 아닌 실질적 컨텍스트 프롬포팅을 말함. )그래서 씨발 많이 가져오라고 적게 가져오라고?-> 기본은 다다익선, 그러나 희석효과(Context Dilution) 때문에 선별 컨텍스트보다는 덜함.-> 즉, 현재 개발중인 내용 중 필요한 컨텍스트만 선별(Distillation)하여 수동으로 압축해야 최상의 결과를 얻는다는 말이다.-> 그런데 사람에 따라서는 뭘 선별해야 할지 모르는 경우도 있고, 또 사람에 따라서는 시간이 오래 걸리는 귀찮은 경우도 있다.-> 그렇다고 전체 다 떠서 다음 컨텍스트에 넣으면, 내용 희석(Context Dilution)으로 원치않는 결과의 생성이(Contextual Noise) 심해진다.-> 대충 내용은 전달 되긴 하지만, 디테일 캐칭이 안된다.그리고 위에 어렵게 설명한 개념은 한 단어로 정의된다."빡치네 ㅅㅂ"따라서 위와 같은 빡침은 대부분의 바이브코더가 겪는 현실적인 어려움이라고 볼 수 있을 것이다.뭐라고 구체적으로 말하긴 어려운데 뭔가.... 뭔가 빡쳐... 그게 바로 위의 과정을 통해 발생한 문제였던 것이다.물론, 조만간 AI의 성능이 더 발전하면 저 10분의 자원이 1시간이 될 수는 있겠지만, 그렇다고 해서 그게 24시간이 되거나 1년이 되지는 않는다.언젠가 혹은 조만간 도달 할 수는 있겠지만 일단 그게 오늘은 아니다. 그리고 무한한 양에 도달한다고 해도 그 자원이 우리가 접근 가능하리라는 보장도 없고.경험상 (거의)무한한 자원은 빌게이츠가 가졌지 내가 가지진 않았다는걸 나는 알고 있다.이러한 문제를 해결하기 위해 몇가지 기술의 Use-case를 합치는 설계를 해 보았다.Solution : 레너드야 이제 폴라로이드 사진 들고다니지 말고 스마트폰 보면 더 빨리 찾을 수 있지 않을까?1. Tag 생성 기능 .(원클릭 ok, 하나씩도 당연히 ok)( 아무것도 몰라도 걍 클릭하면, 알아서 자네의 프로젝트를 이 친구가 분석하고 적절한 방식으로 분류함 )아주 흔하디 흔한 기능이지만, 보통 우리가 개발 과정에서 말하는 태그는 '심볼릭 태그'를 의미한다.하지만 나는 정말 말 그대로 진짜 업무중 사용하는 노션같은데서 말하는 그 '태그'를 말한다.이 기능은 오로지 우리(유저) 인간 레벨의 시각적 탐색 인터페이스만을 위해 설계되었다.실제 폴더, 실제 파일, 그리고 소스파일 내부의 심볼릭 단위까지 모두 태그화 할 수 있다.그리고 이러한 태그 노드-엣지 데이터를 Graph Neural Network 기반 노드 중요도 계산 및 시각적 표현으로 가공하여 보여준다.이 것이 전에 말한 '가정치'에 대한 아이디어인데, Tag Graph Attention + Visual Encoding Layer 개념의 서비스 로직인 셈이다.( 이전에 설명한 것과 같이 GNN을 활용해 “어떤 태그/노드가 중요한가” 같은 가중치·추천 값을 계산한 뒤, 그 결과를 시각화 레이어에 전달하는 방식 )2. 벡터 임베딩 (위의 태그 기능에 이것도 함께 들어가서 작동함. )우리는 AI와 자연어로 대화 하지만, AI는 데이터에 접근하기 위해 벡터차원 유사성을 기반으로 지식에 접근한다.이처럼 '우리가 가진 지식'을 벡터 차원에 치환하여 AI가 접근하기 쉬운 형태로 만들어 준다.이 과정의 비용은 매우 저렴하기 때문에 부담없이 접근 가능하다. 심지어 로컬 모델도 왠만한 환경에서는 다 돌아가는데도 성능이 나쁘지 않다.하지만 정밀한 모델 스캐닝도 사용 가능하게 하려면 이 부분은 서비스 로직을 좀 더 고도화(Multistage Semantic Embedding) 시켜야 할 가능성이 보인다.뭐 고급모델도 설치 가능하게 지원 한다던지, 외부 api 연결해서 서비스 한다던지... 근데 일단은 mvp구현에만 집중하도록 할 예정이다.3. 단일 소스 공급원 원칙에 기반한 DB 설계DB에 Tag노드와 임베딩데이터를 하나로 치환해 엮는다. 그렇게 새로울건 없지만 잘만 가공하면 보기 좋은것도 사실이다.인간은 태그라는 시각적 인터페이스에 접근하여 작업하기 좋고, AI는 임베딩 데이터를 기준으로 탐색하기 좋다.근데 그 두개의 개념 자체는 새로울 것이 전혀 없지만, 이를 묶어서 '어떻게 보여 주느냐'의 서비스 로직은 만드는 사람 나름이라는 것이다.이른바 Symbolic Layer + Semantic Layer의 Dual Indexing 구조인 셈이다.즉, 하나의 데이터에 [태그]만 붙여서 관리하던게 기존의 올드스쿨형 관리 시스템이고, AI가 접근할 수 있게 [데이터 임베딩]한게 요새 트렌드라면,그걸 [하나로 묶어서] 관리(Symbolic-Vector Dual Representation)하는게 내가 제안하는 모델이다.물론 진짜 물리적으로 같이 저장되는건 아니고, 태그의 id키를 기반으로 연결된다.이렇게 설계 한 이유는 이후 엔터프라이즈 환경까지의 확장을 위해 DB 어댑터를 사용할 수 있게 하기 위함이다.4. RAG ( Retrieval-Augmented Generation )( 이제 우리 특갤쿤들이 제일 좋아할 부분인데 아쉽게도 현재 구현 중. 스샷 없음 )그렇게 통합된 DB를 더 잘 쓸 수 있게, 우리가 데이터를 픽업해서 LLM에게 push하는게 아니라...AI가 우리 시스템에서 일하게 pull 할 수 있는 환경(RAG-compatible Interface)이 클라이언트에 있다면 매우 좋을 것이다.즉, 우리가 AI에게 '해줘'하려면 우리가 직접 내용을 AI에게 던져야 하지만,AI가 우리의 내용에 직접 접근 가능한 환경(Pull-based Context Access)을 구축 한다면, 조금 더 우리가 설명해야 할 일이 줄어 들 것이다.5. 근데 이걸 바이브코더가 직접 하면 의미 없음.코드리뷰 및 명세작성, 스펙시트 설계 등을 우리 '해 줘'충 바이브코더들이 할거 였으면 이런 프로그램을 만들지도 않았을 것이다.한방에 모든게 다 끝나야 우리 해줘충이라고 할 수 있겠다.Source -> Context Distillation → Natural Prompting → Automated Instruction Flow를 자동화 하는것이 이 프로젝트의 목표이다.님들은 기술적인걸 아무것도 모르고 그냥 '폴더 열기'한 다음에 '태그 붙이기'하고 '분석 실행'하면 끝이다.그 다음에 클릭해서 '이거 수정할랭~'하면 알아서 된다는 말이다.일단 여기까지만 쓰겠다 밥먹으러 가야해서.한줄요약 : 오늘은 서브웨이 샌드위치가 땡기는듯
작성자 : 아브소고정닉
