이중 부호화: 단어와 이미지로 배우기

이중 부호화란 정확히 무엇인가

이중 부호화는 새로운 정보를 두 가지 형식으로 동시에 학습하는 방법입니다. 하나는 언어적 형식(말하거나 쓴 단어)이고, 다른 하나는 시각적 형식(도표, 스케치, 차트, 또는 마음속 이미지)입니다. 이 아이디어는 University of Western Ontario의 심리학자 Allan Paivio에게서 나왔습니다. 그는 1960년대 후반에 이중 부호화 이론(Dual Coding Theory)을 제안했고, 1971년 저서 Imagery and Verbal Processes에서 이를 온전히 정리했습니다.

Paivio의 주장은 양식에 관한 것이 아니라 구조에 관한 것이었습니다. 그는 마음이 정보를 처리하기 위해 기능적으로 분리된 두 개의 시스템을 운영한다고 주장했습니다. 하나는 언어를 다루는 언어 시스템입니다. 다른 하나는 심상을 다루는 비언어 시스템입니다. 두 시스템은 연결되어 있지만, 기억을 독립적으로 저장합니다. 어떤 단어가 연관된 이미지를 불러일으킬 때, 그 아이디어는 두 번 부호화됩니다. 한 번은 언어로, 한 번은 그림으로, 기억 속 두 개의 다른 장소에 저장됩니다.

바로 그 중복성이 핵심입니다. 두 곳에 저장된 기억은 한 곳에만 저장된 기억보다 훨씬 인출하기 쉽습니다. 되돌아갈 수 있는 경로가 두 개이기 때문입니다. 단어를 잊어도 이미지가 그것을 떠올리게 할 수 있습니다. 이미지를 잊어도 단어가 그것을 떠올리게 할 수 있습니다. 단일 형식 학습은 경로도 하나, 실패 지점도 하나뿐입니다.

실천 방법은 간단합니다. 무언가를 배울 때 단어를 그냥 읽거나 듣기만 하지 마세요. 같은 의미를 담은 시각 자료를 덧붙이세요. 예술적일 필요는 없습니다. 대충 그린 상자와 화살표 스케치도 정교한 도표만큼 효과가 있습니다. 기억 흔적은 그림이 어떻게 보이는지가 아니라 그림을 그리는 행위 자체에서 나오기 때문입니다.

과학: 왜 두 개의 부호가 하나를 이기는가

이중 부호화의 근거는 유난히 탄탄합니다. Paivio의 원래 연구가 반세기 넘게 재현되고 확장되어 왔기 때문입니다. Clark와 Paivio가 1991년 Educational Psychology Review에 발표한 리뷰 "Dual Coding Theory and Education"은 교육과 관련된 발견들을 한데 모아 핵심 결과를 확인했습니다. 이중으로 부호화된 자료는 단일 부호화된 자료보다 일관되게 더 잘 기억된다는 것입니다. 이 이점은 연령, 과목, 그리고 수십 년에 걸친 실험 전반에 걸쳐 나타납니다.

가장 많이 인용되는 응용 증거는 멀티미디어 학습에 관한 Richard Mayer의 연구에서 나옵니다. Mayer의 멀티미디어 학습 인지 이론은 Paivio의 아이디어를 교수 설계로 확장하며, 그 핵심 발견인 멀티미디어 원리는 단도직입적입니다. 사람들은 단어만으로 배울 때보다 단어와 관련 있는 그림을 함께 볼 때 더 깊이 배운다는 것입니다. 일련의 통제된 실험에서 Mayer는 조율된 단어와 그림을 받은 학습자가 단어만 받은 학습자보다 전이 검사에서 중앙값 기준 약 89% 더 나은 성과를 냈고, 효과 크기의 중앙값은 표준편차 1 이상이었다고 보고했습니다. 전이 검사란 아이디어를 그저 앵무새처럼 되뇌는 것이 아니라 실제로 응용할 수 있는지를 측정하는 검사입니다.

Mayer와 Moreno의 1998년 실험은 그 메커니즘을 직접 검증했습니다. 그들은 사람들이 작업 기억 속에서 단어와 그림을 별개의 채널로 처리한다는 것을 발견했습니다. 말로 하는 단어가 화면상의 그림과 함께 제시될 때의 학습 효과가, 단어와 그림이 동시에 눈을 두고 경쟁하는 버전보다 더 좋았던 것입니다. 이것은 이중 처리 모델이 예측하는 바로 그 결과이며, 시각 자료를 추가하느냐 여부만큼이나 그것을 단어와 어떻게 짝짓느냐가 중요한 이유입니다.

그 밑바탕의 논리를 단계별로 정리하면 다음과 같습니다.

이 중 어느 것도 그림을 잘 그리거나 특별한 도구를 갖추도록 요구하지 않습니다. 시각 자료와 단어가 같은 의미를 담고, 작업 기억이 둘을 융합할 수 있을 만큼 충분히 가까이 놓이기만 하면 됩니다.

이중 부호화는 "학습 유형"이 아니다

이것은 대부분의 사람을 혼란에 빠뜨리는 지점이므로 분명히 짚고 넘어갈 가치가 있습니다. 이중 부호화는 어떤 학습자는 "시각적"이고 다른 학습자는 "언어적"이라고 주장하지 않습니다. 오히려 그 반대를 주장합니다. 모든 뇌에는 두 채널이 다 있고, 두 채널이 동시에 작동할 때 모든 뇌가 이득을 본다는 것입니다.

사람들을 시각형, 청각형, 운동형으로 분류하고 각자의 "유형"에 맞게만 공부하라고 말하는 학습 유형론은 신화입니다. Pashler, McDaniel, Rohrer, Bjork는 2008년 Psychological Science in the Public Interest의 의뢰로 진행한 리뷰에서 이를 검토했고, "정합 가설(meshing hypothesis)", 즉 교수 방식을 이른바 학습 유형에 맞추면 학습이 향상된다는 주장에 대해 신뢰할 만한 증거를 사실상 찾지 못했습니다. 연구를 거듭해도 그 효과는 발견되지 않았습니다. 그것이 계속 회자되는 이유는 효과가 있어서가 아니라 직관적으로 그럴듯해 보이기 때문입니다.

이중 부호화는 그 반증된 친척과 혼동되곤 하는 증거 기반의 사촌입니다. 차이는 겨냥하는 대상에 있습니다. 학습 유형론은 사람에 관한 주장입니다. 방법을 사람에게 맞추라는 것이죠. 이중 부호화는 정보에 관한 주장입니다. 모든 사람에게 정보를 두 가지 형식으로 제시하라는 것입니다. 한쪽은 통제된 검증을 견뎌내지 못했습니다. 다른 한쪽은 수십 년에 걸쳐 수렴하는 증거를 등에 업고 있습니다.

"자신의 학습 유형을 찾으라"는 말을 들어본 적이 있다면, 이중 부호화가 더 나은 대체재입니다. 그리고 그 퀴즈가 당신을 무엇이라고 판정했든 상관없이 당신에게 적용됩니다.

증거 기반 전략들 속에서의 위치

인지 과학자 Weinstein, Madan, Sumeracki는 널리 인용되는 2018년 리뷰에서 가장 견고한 공부법들을 여섯 가지 전략으로 묶었습니다. 이중 부호화는 그중 하나로, Glasp 독자들이 이미 잘 아는 방법들과 나란히 자리합니다. 전체 목록을 보면 이중 부호화가 독립적인 요령이 아니라 다른 방법들과 함께 쌓여 작동한다는 점이 분명해집니다.

이 전략들은 서로 결합해 상승 효과를 냅니다. 어떤 개념을 도표로 그리고(이중 부호화), 그것을 가린 뒤 기억에서 다시 그리고(인출 연습), 며칠 뒤에 그 과정을 반복하면(분산 연습), 여섯 가지 중 세 가지를 한꺼번에 실행하는 셈입니다. 각각이 견고함의 층을 더합니다. 이중 부호화의 고유한 기여는 두 번째 기억 흔적이고, 나머지는 그것을 언제 어떻게 되새길지를 통제합니다.

이중 부호화를 포함한 이 기법들 중 상당수는 실행하는 동안에는 수동적으로 다시 읽는 것보다 더 어렵게 느껴집니다. 그 저항감은 결함이 아닙니다. Robert Bjork의 바람직한 어려움 연구는, 시각 자료를 그저 흡수하는 것이 아니라 스스로 만들어내는 노력이 바로 기억에 남게 하는 요소의 일부임을 보여줍니다.

읽을 때 이중 부호화를 활용하는 법

읽기는 본래 언어적 활동입니다. 이중 부호화란 거기에 시각적 층을 의도적으로 더하는 것입니다. 효과가 있는 방법들을, 대체로 노력이 적게 드는 것부터 많이 드는 순으로 소개합니다.

• 그래픽 조직자. 텍스트의 한 부분을 순서도, 벤 다이어그램, 비교 표, 또는 위계 구조로 바꾸세요. 이것은 가장 구조화된 형태의 이중 부호화이며, 개요 정리로도 두 배의 역할을 합니다. 과정은 화살표가 되고, 분류 체계는 겹겹이 중첩된 상자가 됩니다.
• 연표. 순서가 있는 모든 것, 역사, 전기, 어떤 방법의 단계들에 대해 사건을 하나의 선 위에 늘어놓으세요. 공간적 순서가 시간적 순서를 떠올리게 하는 두 번째 단서가 됩니다.
• 스케치노트. 읽거나 볼 때 아이디어를 완전한 문장이 아니라 작은 그림과 라벨로 포착하세요. 그림은 잘 그릴 필요가 없습니다. 졸라맨과 화살표 하나가 한 문단만큼이나 관계를 잘 부호화하며, 복습하기에는 더 빠릅니다.
• 개념 지도. 빽빽하고 서로 얽힌 자료의 경우, 개념들을 노드로 지도화하고 그 사이의 연결에 라벨을 붙이세요. 이렇게 하면 관계를 명시적으로 드러낼 수밖에 없는데, 이는 이중 부호화이자 정교화입니다.
• 여백 스케치. 가장 가벼운 선택지입니다. 하이라이트한 구절 옆에 그 의미를 담은 작은 아이콘 하나를 그리세요. 나중에 페이지를 훑어볼 때, 그 아이콘이 단어를 읽기도 전에 아이디어를 떠올리게 합니다.

공통된 실마리는 이것입니다. 당신은 언어적 입력을 스스로 만든 시각적 표현으로 번역하고 있습니다. 그 번역이 곧 작업이고, 그 작업이 두 번째 흔적을 남깁니다. 남이 만든 도표를 수동적으로 바라보는 것도 조금은 도움이 됩니다. 하지만 직접 만드는 편이 훨씬 더 도움이 됩니다. 그림이 무엇을 보여줄지 결정하는 행위가 자료를 이해하도록 강제하기 때문입니다.

바로 이 때문에 하이라이트가 그 출발점입니다. 하이라이트는 아이디어의 언어적 핵심, 곧 간직할 만한 문장을 골라냅니다. 이중 부호화는 그다음 수순입니다. 그 골라낸 문장에 형태를 부여하는 것이죠. 하이라이트는 무엇을 시각적으로 부호화할지 알려주고, 스케치는 그 부호화를 수행합니다.

시각 자료가 역효과를 낼 때

이중 부호화는 "그림을 더하면 이긴다"가 아닙니다. Mayer의 수십 년에 걸친 실험은 시각 자료가 학습을 해치는 방식들도 함께 밝혀냈으며, 그것을 무시하는 것이 선의로 만든 학습 자료가 어수선하고 쓸모없어지는 이유입니다.

가장 중요한 세 가지 실패 방식은 다음과 같습니다.

• 중복 효과. 같은 단어를 화면 텍스트와 내레이션으로 동시에 제시하면 학습이 더 나아지는 게 아니라 더 나빠집니다. 둘 다 하나뿐인 언어 채널을 두고 경쟁하며 과부하를 일으킵니다. 단어와 그림은 이중 부호화입니다. 단어와 그 단어를 다른 형식으로 똑같이 반복한 것은 그저 잡음입니다.
• 주의 분산 효과. 도표와 그 설명이 물리적으로 떨어져 있을 때, 이를테면 차트는 한 페이지에 있고 그 범례는 세 페이지 뒤에 있을 때, 학습자는 하나를 기억에 붙들어둔 채 다른 하나를 찾아 헤매야 합니다. 그 통합 비용이 이점을 상쇄합니다. 라벨은 멀리 떨어진 설명이 아니라 그림 위에 두세요.
• 일관성 문제. 장식용 이미지, 스톡 사진, 의미를 담지 않은 "눈길을 끄는" 그래픽은 기억 흔적을 더하지 않으면서 인지 부하만 더합니다. 시각 자료가 아이디어를 나타내지 않는다면, 그것은 이중 부호화가 아닙니다. 그저 어수선함일 뿐입니다.

이것들을 하나로 묶는 규칙은 이렇습니다. 시각 자료는 의미가 있어야 하고, 그것이 설명하는 단어 바로 옆에, 공간적으로도 시간적으로도 가깝게 제시되어야 합니다. 이를 잘못하면 두 번 부호화하는 게 아니라 한 번 과부하를 거는 것입니다. 이것이 바로, 복잡한 인포그래픽을 가져오는 것보다 대개 자신만의 단순한 도표를 그리는 편이 나은 이유입니다. 당신의 것은 관련성이 보장되고, 라벨을 어디에 둘지도 당신이 통제하니까요.

Glasp와 함께하는 이중 부호화 워크플로

이중 부호화에는 변환할 언어 자료의 믿을 만한 원천과, 단어와 시각 자료를 함께 보관할 장소가 필요합니다. 바로 그 워크플로를 위해 Glasp가 만들어졌습니다.

언어적 포착부터 시작하세요. 기사나 PDF를 읽으면서 Glasp의 웹 하이라이터로 간직할 만한 문장을 표시하세요. 하이라이트는 필터입니다. 한 페이지를 두 번째 기억 흔적을 남길 가치가 있는 소수의 아이디어로 추려내므로, 한 장(章) 전체를 이중 부호화하려 애쓰지 않아도 됩니다. Glasp는 여러 하이라이트 색상을 지원하므로, 어떤 시각 자료가 될지에 따라 구절을 미리 분류해둘 수도 있습니다. 연표로 대응되는 것은 파란색, 비교가 되는 것은 초록색처럼 말이죠.

그다음 시각 자료를 만드세요. Glasp에서는 각 하이라이트 옆에 노트를 붙일 수 있으니, 바로 그곳에 스케치, 미니 표, 또는 개념 지도가 들어갑니다. 하이라이트한 문장과 그것을 당신이 그린 버전이 나란히 놓이므로, 주의 분산 규칙이 자동으로 충족됩니다. 단어와 이미지가 결코 분리되지 않기 때문입니다.

동영상도 자연스럽게 맞아떨어집니다. 강의나 설명 영상으로 배울 때, YouTube Summary가 자막과 핵심 요점을 뽑아주므로, 무슨 말이 나왔는지 찾으려고 영상을 앞뒤로 돌려볼 필요 없이 도표로 변환할 언어 층을 곧바로 확보할 수 있습니다. 책에도 같은 수순이 통합니다. Kindle 하이라이트를 가져와 표시해둔 구절을 시각적 요약으로 바꾸세요.

포착한 자료를 오래 남는 노트로 바꾸는 방법을 더 자세히 다룬 내용은 스마트 노트 작성법을, 특히 동영상에 관해서는 YouTube를 학습 노트로 바꾸기를 참고하세요. 이중 부호화는 그 더 큰 워크플로 안의 부호화 단계입니다.

피해야 할 흔한 실수

이 아이디어에 설득된 사람들조차 같은 몇 가지에 걸려 넘어집니다.

• 남의 도표를 베끼기. 이미 만들어진 시각 자료를 수동적으로 보는 것은 스스로 만드는 것의 일부에 불과한 이점만 줍니다. 생성하는 것이 곧 메커니즘입니다. 늘 남의 차트를 스크린샷만 찍는다면, 이중 부호화를 거의 하지 않는 셈입니다.
• 지나치게 예쁘게 만들기. 그림을 완벽하게 다듬는 데 쓴 시간은 학습에 쓰지 않은 시간입니다. 연구가 보상하는 것은 예술이 아니라 거칠고 빠르고 의미 있는 스케치입니다. 색을 고르느라 20분을 쓰고 있다면 핵심을 놓친 것입니다.
• 구조가 아니라 잡다한 사실을 부호화하기. 이중 부호화는 관계, 과정, 위계, 비교처럼 형태가 있는 것에서 빛을 발합니다. 외워야 할 날짜의 단순 나열은 인출 연습이 더 잘 처리합니다. 눈에 보이는 구조가 있는 곳에 시각 자료를 쓰세요.
• 또다시 학습 유형과 혼동하기. 거듭 말할 가치가 있습니다. 당신이 "시각형 인간"이어서 이중 부호화를 하는 게 아닙니다. 두 채널이 하나를 이기는 것이 당신을 포함한 모든 사람에게 해당하기 때문에 하는 것입니다.

이 네 가지만 피하면 이중 부호화는 공부하고 읽는 방식에 가할 수 있는 가장 높은 수익률, 가장 낮은 노력의 변화 중 하나가 됩니다.

자주 묻는 질문

이중 부호화를 쉽게 설명하면 무엇인가요?

단어와 그에 맞는 시각 자료라는 두 가지 형식으로 무언가를 동시에 배워서, 뇌가 그것을 두 번 저장하도록 하는 것입니다. 하나의 아이디어, 두 개의 기억 흔적, 두 개의 별도 시스템 안에 말이죠. 덕분에 나중에 그것을 떠올릴 방법이 두 가지가 되어, 아이디어가 텍스트로만 존재할 때보다 잊어버릴 가능성이 훨씬 낮아집니다.

이중 부호화는 학습 유형과 같은 것인가요?

아니요, 그리고 중요한 면에서 정반대입니다. 학습 유형론은 각 개인을 선호하는 형식으로 가르쳐야 한다고 주장하는데, 그 주장은 통제된 검증에서 거듭 실패했습니다(Pashler 외, 2008). 이중 부호화는 단어와 시각 자료를 결합할 때 모두가 더 잘 배운다고 주장하며, 이는 강력한 증거로 뒷받침됩니다. 이중 부호화는 정보에 관한 것이고, 학습 유형론은 사람에 관한 것입니다.

이중 부호화를 쓰려면 그림을 잘 그려야 하나요?

아니요. 이점은 시각 자료가 어떻게 보이는지가 아니라 그것을 스스로 만드는 데서 옵니다. 상자, 화살표, 졸라맨, 대충 그린 표 모두 효과가 있습니다. 당신이 그린 지저분한 스케치가 남이 만든 정교한 도표를 이깁니다. 무엇을 그릴지 결정하는 행위가 곧 아이디어를 부호화하기 때문입니다.

이중 부호화가 학습을 해칠 수도 있나요?

네, 시각 자료가 의미 있지 않거나 그것이 설명하는 단어 옆에 놓이지 않는다면 그렇습니다. 장식용 이미지, 똑같은 텍스트를 소리 내어 읽어주는 것(중복 효과), 그리고 라벨과 분리된 도표(주의 분산 효과)는 모두 유용한 기억 흔적을 더하지 않으면서 인지 부하만 더합니다. 시각 자료는 아이디어를 나타내야 하고 관련 단어 가까이에 놓여야 합니다.

이중 부호화는 그냥 노트 필기와 어떻게 다른가요?

보통의 노트는 대개 언어적입니다. 읽은 단어 옆에 더 많은 단어를 적는 것이죠. 이중 부호화는 여기에 시각 채널을 명시적으로 더합니다. 언어 자료를 도표, 지도, 또는 스케치로 번역하는 것입니다. 두 번째 기억 흔적을 만드는 것은 단순한 기록이 아니라 다른 형식으로의 번역입니다.

어떤 과목이 이중 부호화의 덕을 가장 많이 보나요?

구조가 있는 모든 것입니다. 과정, 시스템, 위계, 순서, 비교는 모두 시각 자료로 깔끔하게 대응됩니다. 역사 연표, 생물학의 순환, 인과 사슬, 개념 간 관계가 이상적입니다. 순수한 암기 목록은 덕을 덜 보며, 간격을 둔 인출 연습이 더 잘 다룹니다.

핵심 정리

이중 부호화는 학습 과학에서 가장 잘 뒷받침되는 아이디어 중 하나이자, 가장 많이 오해받는 아이디어 중 하나입니다. 시각형 인간이 되는 것에 관한 것도 아니고, 노트를 꾸미는 것에 관한 것도 아닙니다. 그것은 구조적 사실입니다. 당신의 마음은 언어와 심상을 따로 저장하며, 둘 다 자극하면 읽기만 할 때 하나의 흔적이 남을 자리에 두 개의 흔적이 남습니다.

실천은 그로부터 곧장 따라옵니다. 언어적 핵심을 위해 읽고, 중요한 문장을 하이라이트하고, 그중 구조가 있는 것을 당신이 직접 만드는 도표, 연표, 또는 스케치로 변환하세요. 시각 자료를 의미 있게 유지하고, 단어 옆에 두세요. 여기에 인출과 간격을 쌓으면 아이디어가 더는 새어나가지 않습니다.

당신은 읽을 때마다 이미 그 절반을 하고 있습니다. Glasp는 하이라이트와 노트와 시각 자료가 함께 머무는 곳이라, 두 번째 흔적이 언제나 첫 번째로부터 스케치 하나만큼의 거리에 있습니다. 중요한 것을 하이라이트하는 것부터 시작하고, 그다음 거기에 형태를 부여하세요.