갤러리 이슈박스, 최근방문 갤러리
연관 갤러리
아르바이트 갤러리 타 갤러리(0)
이 갤러리가 연관 갤러리로 추가한 갤러리
0/0
타 갤러리 아르바이트 갤러리(0)
이 갤러리를 연관 갤러리로 추가한 갤러리
0/0
개념글 리스트
1/3
- "많이 사주세요"…1030 아이폰 사랑에 '슬림폰' 승부수 띄운 삼성 ㅇㅇ
- "달걀 깼더니 달걀이 또 있어"…괴산서 나온 괴이한 달걀 ㅇㅇ
- 키작남들 연애못한다고 징징댈때마다 생각나는 인물을 본 더쿠 줌마들 갓럭키
- 넥슨 25년 1분기 메이플 IR 요약 ㅇㅇ
- 교사, "한국의 학부모들은 학폭에 대한 공포가 너무 지나치다" ㅇㅇ
- 트럼프, 남아공 부자 백인을 ‘난민’으로 신속 수용…이중잣대 논란 고닉팠
- 한문철 또 또 레전드 ㅋㅋ 자전거 도로에 갑툭튀한 아줌마 ㅇㅇ
- 싱글벙글 특이점이 와버린 사이비 ㅇㅇ
- 이재명 "한·미·일 동맹 중요...대구 유세 엄마부대
- 김성회) 베데스다 최종 입장 확인 ㅇㅇ
- 배우 김정난 취미.jpg ㅇㅇ
- 여교사랑 소개팅만 하면 현타 오지게 온다는 삼전 블라남 갓럭키
- 37살에 승무원 합격한 유튜버 썰 ㅇㅇ
- 판) 여친을 산속에 두고간 남자친구 이해되시나요? ㅇㅇ
- 판) 엄마가 바람핍니다 도와주세요.... ㅇㅇ
봄섬여행
2주전, 4월말 사진이다. 철새 이동시기 맞춰서 섬에 들어가려고 4월 내내 간을 봤는데 주말마다 날씨가 안좋아서 미루고 미루다가 마지막주에 어청도에 들어감 새는 기대했던 것 만큼 많은 종이 있지는 않아서 풍경을 더 많이 찍고 군산도 한바퀴 돌았다 어청도에는 4월말 5월초에도 벚꽃이 있다 일몰을 보기 위해 섬 반대쪽으로 갔다가 등산도 하게 됨 섬이라 항만 시설때문에 광해가 심해서 생각만큼 별이 잘 보이는건 아니었다 다음날 아침 일출도 보고 하루종일 새를 보다가 배를 타고 군산으로 나와서 일몰을 보려고 청보리밭에 갔다 저녁을 먹고 올라가려고 군산 시내에 들렀다. 이성당 원툴의 동네는 아니다 나름 로컬 감성이 있는 도시다. 새 사진은 아직도 정리가 다 안끝나서 언제 올릴지 모르겠다 - dc official App
작성자 : ㅇUㅇ고정닉
(사카나AI) 연속 사고 기계(CTM) 소개
연속 사고 기계(Continuous Thought Machines) 소개
2025년 5월 12일
Sakana AI에서는 인지의 핵심에 있는 중요한 특징, 바로 시간에 대해 재고하기로 했습니다. 연속 사고 기계는 뉴런 역동성 간의 동기화를 사용하여 작업을 해결하는 새로운 종류의 인공 신경망입니다.
요약
Sakana AI는 생물학적 신경망에서 영감을 받아 뉴런 활동의 동기화를 핵심 추론 메커니즘으로 독특하게 활용하는 AI 모델인 연속 사고 기계(CTM)를 자랑스럽게 발표합니다. 기존의 인공 신경망과 달리, CTM은 뉴런 수준에서 타이밍 정보를 사용하여 더 복잡한 신경 행동과 의사결정 프로세스를 가능하게 합니다. 이러한 혁신으로 모델이 문제를 단계별로 "사고"할 수 있으며, 추론 과정을 해석 가능하고 인간과 유사하게 만듭니다. 우리의 연구는 다양한 작업에서 문제 해결 능력과 효율성이 모두 향상됨을 보여줍니다. CTM은 인공 신경망과 생물학적 신경망 간의 간극을 메우는 의미 있는 진전을 나타내며, AI 능력의 새로운 지평을 열 수 있습니다.
자세한 내용은 대화형 보고서, 기술 논문 및 공개 코드를 참조하시기 바랍니다.
CTM이 미로를 해결하고 실제 사진에 대해 사고하는 시각화 (사진 제공: Alon Cassidy). 놀랍게도, 명시적으로 설계되지 않았음에도 불구하고, 미로에서 학습한 해결책은 매우 해석 가능하고 인간과 유사하여 해결책을 '사고'하면서 미로를 통과하는 경로를 추적하는 것을 볼 수 있습니다. 실제 이미지의 경우, 명시적인 인센티브가 없음에도 직관적인 방식으로 주변을 둘러봅니다.
소개
우리의 뇌는 가장 정교한 현대 AI조차도 어려워하는 영역에서 종종 훨씬 더 효율적으로 뛰어난 성능을 발휘합니다. Sakana AI에서는 AI의 발전을 위해 자연에서 영감을 찾곤 합니다. 예를 들어 진화를 사용한 모델 병합, 더 효율적인 언어 모델용 메모리 진화, 또는 인공 생명의 공간 탐색 등이 있습니다. 인공 신경망은 최근 몇 년간 AI가 놀라운 성과를 달성할 수 있게 했지만, 여전히 생물학적 대응물의 단순화된 표현에 머물러 있습니다. 생물학적 뇌에서 발견되는 특징들을 통합함으로써 AI의 새로운 수준의 능력과 효율성을 달성할 수 있을까요?
우리는 인지의 핵심에 있는 중요한 특징인 시간에 대해 재고하기로 했습니다. 2012년 딥러닝의 등장으로 AI 능력이 크게 도약했음에도 불구하고, AI 모델에 사용되는 인공 뉴런의 기본 모델은 1980년대 이후 크게 변하지 않았습니다. 연구자들은 여전히 뉴런이 얼마나 활성화되는지를 나타내는 단일 출력을 주로 사용하지만, 다른 뉴런과 비교하여 뉴런이 언제 활성화되는지의 정확한 타이밍은 무시합니다. 그러나 강력한 증거는 이러한 타이밍 정보가 생물학적 뇌에서 매우 중요하며, 예를 들어 스파이크 타이밍 의존 가소성에서 생물학적 뇌 기능의 기초가 됨을 시사합니다.
우리가 새로운 모델에서 이 정보를 표현하기 위해 사용한 방법은 단순히 뉴런이 자신의 행동 이력에 접근할 수 있게 하고, 단지 현재 상태만 아는 것이 아니라 이 정보를 사용하여 다음 출력을 계산하는 방법을 학습하는 것입니다. 이를 통해 과거의 다른 시점의 정보를 기반으로 행동을 변경할 수 있습니다. 또한, 새로운 모델의 주요 행동은 이러한 뉴런 간의 동기화에 기반하며, 이는 작업을 해결하기 위해 함께 조정하기 위해 이 타이밍 정보를 활용하는 방법을 학습해야 함을 의미합니다. 우리는 이것이 현대 모델에서 관찰되는 것보다 훨씬 더 풍부한 역동성의 공간과 다른 작업 해결 행동을 만들어낸다고 주장합니다.
이 타이밍 정보를 추가한 후, 우리는 여러 작업에서 광범위한 비자명한 행동을 관찰했습니다. 아래에 몇 가지 결과를 강조합니다. 우리는 매우 해석 가능한 행동을 봅니다: 이미지를 관찰할 때, CTM은 장면 주위를 주의 깊게 시선을 이동시키며, 존재하는 가장 두드러진 특징에 집중하기로 선택하고 일부 작업에서 성능이 향상됩니다. 우리는 특히 뉴런 활동의 역동성에서 보여지는 행동의 다양성에 놀랐습니다.
CTM에서 관찰된 뉴런 역동성 샘플로, 다른 입력에 따라 어떻게 변화하는지 보여줍니다. CTM은 명확하게 매우 다양한 뉴런 행동 세트를 학습합니다. 각 뉴런(임의의 색상)이 다른 뉴런과 함께 활성화되는 방식을 우리는 동기화라고 부릅니다. 우리는 이를 측정하고 CTM의 표현으로 사용합니다.
새로운 모델의 행동은 새로운 종류의 표현에 기반합니다: 시간에 따른 뉴런 간의 동기화입니다. 우리는 이것이 엄격한 에뮬레이션은 아니지만 생물학적 뇌를 훨씬 더 연상시킨다고 믿습니다. 우리는 결과적인 AI 모델을 연속 사고 기계(CTM)라고 부르며, 이는 이 새로운 시간 차원, 풍부한 뉴런 역동성 및 동기화 정보를 사용하여 작업에 대해 '사고'하고 답을 제공하기 전에 계획을 세울 수 있는 모델입니다. 우리는 이름에 '연속'이라는 용어를 사용하는데, 이는 CTM이 추론할 때 전적으로 내부 '사고 차원'에서 작동하기 때문입니다. 소비하는 데이터에 대해 비동기적입니다: 정적 데이터(예: 이미지) 또는 순차적 데이터에 대해 동일한 방식으로 추론할 수 있습니다. 우리는 이 새로운 모델을 광범위한 작업에서 테스트했으며 다양한 문제를 해결할 수 있고 종종 매우 해석 가능한 방식으로 해결할 수 있음을 발견했습니다.
우리가 관찰한 뉴런 역동성은 훨씬 덜 다양한 행동을 보이는 더 전통적인 인공 신경망과 달리 실제 뇌에서 측정된 역동성을 다소 더 연상시킵니다. 아래에서 클래식 AI 모델인 LSTM과의 비교를 참조하세요. CTM은 다른 주파수와 진폭으로 진동하는 뉴런을 보여줍니다. 때로는 단일 뉴런에서 다른 주파수를 볼 수 있고 다른 뉴런은 작업을 해결할 때만 활동을 보입니다. 이러한 모든 행동은 완전히 창발적이며, 모델에 설계되지 않았고, 타이밍 정보를 추가하고 다른 작업을 해결하는 방법을 학습하는 부작용으로 나타난다는 점을 강조할 가치가 있습니다.
CTM의 신경 역동성과 현재 인기 있는 인공 신경망에서 관찰된 역동성의 비교.
새로운 CTM 모델 아키텍처 테스트
새로운 시간 차원이 있기 때문에 CTM의 주요 장점 중 하나는 시간이 지남에 따라 문제를 해결하는 방법을 관찰하고 시각화할 수 있다는 것입니다. 신경망을 통한 단일 패스로 이미지를 분류할 수 있는 기존 AI 시스템과 달리, CTM은 작업을 해결하는 방법에 대해 '사고'하기 위해 여러 단계를 수행할 수 있습니다. CTM의 능력과 해석 가능성을 보여주기 위해 아래에서 두 가지 작업을 소개합니다: 미로 해결과 사진 속 객체 분류. 더 많은 작업에 대한 데모는 대화형 보고서와 학술 논문에서 확인할 수 있습니다.
미로 해결
이 작업에서 CTM은 2D 탑다운 미로를 제시받고 이를 해결하는 데 필요한 단계를 출력하도록 요청받습니다. 이 형식은 모델이 단순히 경로의 시각적 표현을 출력하는 것이 아니라 미로 구조에 대한 이해를 구축하고 해결책을 계획해야 하므로 특히 어렵습니다. CTM의 내부 연속 '사고 단계'를 통해 계획을 개발할 수 있으며, 각 사고 단계 동안 미로의 어느 부분에 집중하는지 시각화할 수 있습니다. 놀랍게도, CTM은 미로를 해결하는 매우 인간적인 접근 방식을 학습합니다—실제로 주의 패턴에서 미로를 통과하는 경로를 따라가는 것을 볼 수 있습니다.
CTM은 관찰(주의 사용)하고 단계(예: 왼쪽으로 이동, 오른쪽으로 이동 등)를 직접 생성하여 미로를 해결합니다. 이는 직접적으로 신경 역동성의 동기화(즉, 동기화 자체에서 선형 프로브 사용)를 사용하여 수행됩니다. 주의 패턴이 미로를 통과하는 경로를 따라가는 것에 주목하세요: 매우 해석 가능한 접근 방식입니다. 대화형 보고서에서 미로 해결 시각화의 대화형 버전을 탐색해 보세요.
이 행동에서 특히 인상적인 점은 모델의 아키텍처에서 자연스럽게 나타난다는 것입니다. 우리는 CTM이 미로를 통과하는 경로를 추적하도록 명시적으로 설계하지 않았습니다—학습을 통해 이 접근 방식을 스스로 개발합니다. 또한, 더 많은 사고 단계가 허용될 때 CTM이 훈련된 지점을 넘어서도 계속해서 경로를 따라가며, 실제로 이 문제에 대한 일반적인 해결책을 학습했음을 보여준다는 것을 발견했습니다.
이미지 인식
ImageNet은 2012년 딥러닝 혁명을 촉발시킨 클래식 이미지 분류 벤치마크입니다. 기존 이미지 인식 시스템은 단일 단계로 분류 결정을 내리지만, CTM은 결정을 내리기 전에 이미지의 다른 부분을 검토하는 여러 단계를 수행합니다. 이러한 단계별 접근 방식은 AI의 행동을 더 해석 가능하게 만들 뿐만 아니라 정확도도 향상시킵니다: 더 오래 "사고"할수록 답변이 더 정확해집니다. 또한 이를 통해 CTM이 더 간단한 이미지에서는 더 적은 시간을 사고하도록 결정할 수 있어 에너지를 절약할 수 있음을 발견했습니다. 예를 들어, 고릴라를 식별할 때 CTM의 주의는 눈에서 코, 입으로 이동하며 인간의 시각적 주의와 현저하게 유사한 패턴을 보입니다.
여기서 우리는 이미지를 분류할 때 CTM의 행동 예를 봅니다 (사진 제공: Alon Cassidy). 히트맵은 이미지를 처리할 때 CTM이 주의를 집중하는 위치를 보여주며, 화살표는 주의의 중심을 나타냅니다. 대화형 보고서에서 더 많은 예시를 볼 수 있습니다.
이러한 주의 패턴은 모델의 추론 과정에 대한 창을 제공하여 분류에 가장 관련성이 있다고 판단하는 특징을 보여줍니다. 이러한 해석 가능성은 모델의 결정을 이해하는 데 가치가 있을 뿐만 아니라 잠재적으로 편향이나 실패 모드를 식별하고 해결하는 데도 유용합니다.
결론
현대 AI가 '인공 신경망'으로서 뇌에 기반을 두고 있음에도 불구하고, AI 연구와 신경과학 간의 겹침은 오늘날에도 놀랍도록 얇습니다. AI 연구자들은 단순성, 효율적인 훈련 및 AI 발전을 이끄는 지속적인 성공으로 인해 80년대에 개발된 매우 단순한 모델을 고수하기로 선택합니다. 반면 신경과학은 지능의 우수한 모델을 만들려고 시도하기보다는 주로 뇌를 이해하는 목적으로 뇌의 훨씬 더 정확한 모델을 만들 것입니다(물론 하나가 다른 하나로 이어질 수 있지만). 이러한 신경과학 모델은 복잡성이 추가되었음에도 불구하고 일반적으로 여전히 현재의 최첨단 AI 모델보다 성능이 떨어지므로 AI 응용 분야를 위해 더 조사할 만큼 특히 매력적이지 않을 수 있습니다.
그럼에도 불구하고, 현대 AI를 어떤 측면에서 뇌의 작동 방식에 더 가깝게 만들지 않는 것은 놓친 기회라고 믿으며, 이런 방식으로 훨씬 더 능력 있고 효율적인 모델을 찾을 수 있을 것입니다. 2012년 능력의 대규모 도약, 이른바 "딥러닝 혁명"은 뇌에서 영감을 받은 모델인 신경망 때문에 발생했습니다. 이러한 진전을 계속하기 위해 계속해서 뇌에서 영감을 받아야 하지 않을까요? CTM은 여전히 중요한 문제를 해결하기 위한 실용적인 AI 모델이면서도 뇌와 더 유사한 행동의 초기 힌트를 보여주는 방식으로 이 두 분야 간의 격차를 좁히려는 우리의 첫 번째 시도입니다.
우리는 이러한 자연에서 영감을 받은 방향으로 모델을 계속 발전시키고 어떤 새로운 능력이 나타날 수 있는지 탐색하게 되어 매우 기쁩니다. 다른 작업에서 CTM의 행동에 대한 더 자세한 예는 대화형 보고서를 방문하시기 바랍니다. CTM의 아키텍처 및 구현에 대한 전체 세부 사항은 기술 논문 및 코드에서 찾을 수 있습니다.
우리가 앞으로 나아가면서, AI 및 신경과학 커뮤니티가 생물학과 계산의 이 유망한 교차점을 탐색하는 데 함께 참여하기를 초대합니다. 함께 인공 신경망의 실용적인 이점을 유지하면서 생물학적 지능의 놀라운 능력을 더 잘 포착하는 AI 시스템을 개발할 수 있습니다.
Sakana AI
함께하는 것에 관심이 있으신가요?
자세한 내용은 채용 기회를 참조하시기 바랍니다.
© Sakana AI 株式会社
원본 출처: https://sakana.ai/ctm/
번역: 특이점이온다 갤러리의 초존도초
작성자 : 초존도초고정닉
"희망이 안 보여" 최악의 상황…기초체력 없는 한국 '돈맥경화'
한지연 기자와 함께하는 친절한 경제 시간입니다. 안녕하세요? 한 기자, 우리 경제가 좋지 않다는 여러 지표나 통계 그동안 많이 소개해 주셨잖아요. 오늘(13일) 가지고 나온 자료에는 혹시 긍정적인 내용이 있습니까?아닙니다. 오늘 가지고 나온 자료에는 역시 긍정적이지 못한 내용인데요.국책연구기관 KDI가 5월 경제 동향을 발표했는데요.그동안 경기 진단에서 '경기 하방 위험', 그러니까 '경기가 아래로 향할 위험이 있다' 정도의 표현을 썼다면 이것보다 좀 더 강한 표현인 '경기 둔화'라는 표현을 사용했습니다.KDI가 경기 진단에 '경기 둔화'라는 표현을 사용한 건 2023년 초 이후 2년여 만인데요.장기간 이어진 경기 하방 리스크가 현실화되면서 실제로 경기 둔화 국면 초입에 접어들었다는 의미로 풀이됩니다.KDI가 원인으로 꼽은 건 건설 부진과 수출입니다.건설 부진이 내수 회복을 막고 있고, 또 통상 여건이 악화되면서 수출이 둔화하는 흐름이라는 진단입니다.3월 모든 산업은 작년보다 1.3% 증가하긴 했지만, 건설업 생산이 14.7% 급감했고, 4월 수출은 전년보다 3.7% 증가하긴 했지만, 조업일수를 고려한 일평균 수출은 0.6% 감소했습니다.특히 미국 관세 인상 여파가 본격 반영되면서 미국 수출이 10.6% 감소했고요.자동차와 철강 등 관세 부과 대상이 많이 떨어졌습니다.특히 이달 초 수출 상황이 굉장히 더 안 좋아진 것 같은데 지난해보다 20% 넘게 감소했네요?23% 넘게 떨어졌는데요.코로나로 월초 수출이 29% 급락했던 2020년 10월 이후 4년 7개월 만에 최대 감소 폭을 보였습니다.이번 달 1일부터 10일까지 수출액은 128억 달러로 집계됐는데요.1년 전보다 23.8% 줄었습니다.이 가운데 대미 수출이 30.4%가 줄면서 총수출에 적지 않은 영향을 미쳤습니다.오는 7월까지 상호관세가 유예되긴 했지만, 확실히 미국발 관세 전쟁 영향이 우리 수출에 본격적으로 영향을 미치기 시작했다, 이렇게 조심스럽게 진단할 수 있겠습니다.미국뿐 아니라 주요 수출국인 중국, 베트남, 유럽연합에 수출이 다 쪼그라들었는데요.중국과 미국, 베트남 등 상위 3국 수출 비중은 거의 절반에 육박합니다.주요 품목별로 살펴보면 반도체만 14% 증가했고, 나머지 승용차는 23% 넘게, 또 석유제품은 37% 가까이 수출이 큰 폭으로 줄었습니다.특히, 이달 초순 자동차 수출이 많이 줄어든 건, 미국의 자동차 품목별 관세조치 영향이 본격화되면서 그런 건데요.미국이 지난 3월 12일 철강 알루미늄 제품에 25% 관세를 부과한 걸 시작으로 해서 4월 수입 자동차에 대해 25% 품목 관세를 매겼고요.이번 달 3일부터는 자동차 부품으로 25% 관세조치를 확대했죠.자동차 대미 수출 비중이 작년 기준 50%에 육박하는 만큼, 자동차 수출 부진으로 이어진 것으로 보입니다.반도체가 '플러스'를 보인 건 아직 미국의 품목별 관세가 부과되지 않았기 때문이고, 또 AI 투자와 함께 고대역폭 메모리, 즉 HBM 제품을 중심으로 단가 상승이 된 것이 수출 상승세를 이끌었기 때문으로 보입니다.이번 달 초에는 징검다리 연휴가 있었죠.조업일수 고려해서 계산을 해보면 하루 평균 수출액은 25억 7천만 달러로 1% 감소한 건데요.이달 들어 10일까지 조업일수는 5일로 지난해 같은 기간, 6.5일보다 1.5일 적습니다.때문에 이달 말까지 수출액 회복할 가능성도 있기는 합니다.이런 상황을 타개하고 회복이 가능할지도 한번 살펴보시죠. 국내외 주요 기관들이 우리나라의 잠재성장률을 잇따라 낮추고 있다고요?2%에서 1%대로 속속 낮추고 있습니다.국회 예산처와 KDI도 1%대로 지금 낮추고 있는 모습이고요.또 OECD도 최근 갱신한 경제 전망에서 내년 한국 잠재성장률을 1.98%로 추산했습니다. 잠재성장률 최근 자주 다뤘던 주제죠.한 국가가 노동, 자본, 자원 같은 생산요소를 총동원해서 물가 상승을 유발하지 않고 달성할 수 있는 최대 성장 수준을 의미합니다.자동차로 따지면 엔진이 과열되지 않게끔 해서 안정적으로 낼 수 있는 최대속도가 얼마냐, 즉 한 국가가 경제를 지탱하는 '기초체력'과 같은 의미로 사용됩니다.근데 현재 한국은 2%도 성장이 어렵다, 기초체력이 없다, 이런 평가를 받고 있는 겁니다.한국의 잠재성장률은 다른 OECD 국가들과 비교해도 하락세가 가파른데요.10년간 낙폭이 1.02% 포인트가 됩니다.잠재성장률이 공개된 37개국 중의 7번째로 하락 폭이 큽니다.다른 선진국들인 프랑스나 이탈리아, 스페인은 잠재성장률이 상승했고, 미국은 2%대를 유지하고 있습니다.잠재성장률이 빨리 떨어진다는 건 그만큼 기초체력이 빨리 떨어진다는 의미가 되겠습니다.
작성자 : 빌애크먼고정닉
차단하기
설정을 통해 게시물을 걸러서 볼 수 있습니다.
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.