Мултимодални семиозис, Мултимодални семиотика: цифровите технологии и техники за изследване на Мултимодални Съобщението

* Доклад на Multimodal Analysis Lab, Interactive & Digital Media институт (IDMI), Националния университет на Сингапур

Original on http://www.semioticon.com/semiotix/2010/03/multimodal-semiosis-multimodal-semiotics-digital-technologies-and-techniques-for-studying-multimodal-communication/

Учените, които се интересуват от човешкото общуване, отдавна са признали, че е необходимо да се разшири приложното поле на областта на семиотиката, за да се включат всички видове дейност знак за вземане на. Барт (1957/1972: 112), която се застъпва за развитието на “semiological наука”, като по-рано, предложени от Сосюр (1916/1975), обърна внимание на разнообразието и вездесъщността на знаци: “В един ден, колко наистина не са означаваше полета кръста? Много малко, понякога никой… на плажа, какъв материал за semiology! Знамена, лозунги, сигнали, табели, дрехи, загар дори, които са толкова много съобщения за мен “. Това не е изненада тогава, че учените в рамките семиотика традиция са присъствали за развитието и разпространението на цифрови интерактивни медии и софтуерни технологии през миналия век, и експанзия, в нея на човешки капацитет за вземане на смислен знак дейност. Това е довело до изследване на интермодалност, която се отнася до често сложни взаимодействия на множество признаци, в рамките на различни семиотична ресурси като език (писмено и говоримо) (статични и движещи се), образ, жест, proxemics, операторско майсторство, звуци, музика и показва изкуството ( виж Jewitt, 2009 г.; Kress & ван Льовен, 2006; О’Тул, 1994).

Но семиотиката на съвременни медии и режими на дискурса правят редица изисквания към анализаторите. Така например, изследване на динамични аудиовизуални медийни повдига въпроси на методология и ресурси, по отношение на средства, чрез които semioticians изследват и се ангажират с текстовете, които изучават, и как те публикуват такива изследвания. Съвременни интерактивни медии, като игри, уеб страници и като представят допълнителни предизвикателства. Динамика и хипер-textuality са просто два аспекта на съвременните практики значение, че не се поддават на представителство в традиционния страница-базиран формат, и наистина на изпитание традиционните методи и евентуално теоретични подходи, разработени за статична страница базирани медии (писмено и образ).

Друг въпрос от общо значение за мултимодални семиотика, е огромната сложност, която възниква в проучването на множество признаци, както по отношение на интеграцията им като компоненти на сложни знаци и по отношение на цялостна перспектива за действието на знаци в рамките на дискурси и в рамките на културите. Концепцията на Лотман “semiosphere” (Лотман, 1984/2005: 208) (вж. също Лотман и Успенски, 1978) представлява сложна артикулация на такава цялостна перспектива:

“Всички семиотична пространство може да се разглежда като единен механизъм (ако не е организъм). В този случай, примата не се лъжа в един или друг знак, но в по-голяма система, а именно semiosphere… Точно както, като се слепват отделните пържоли, ние не се получи теле, а чрез намаляване на теле, ние може да получи пържоли, обобщава отделни актове, ние не се получи семиотичен вселена. Напротив, само съществуването на такава вселена – semiosphere – прави конкретни подписали истински акт “.

Работа в рамките на социалната традиция семиотика, извлечени и адаптирани от Майкъл Холидей “(1978, 2004) системен функционален теория и по-специално в рамките на нововъзникващите областта на мултимодалния проучвания (виж Lemke, 2009), също така представят една холистична гледна точка на семиозис, виждаме признаци в по отношение на тяхната интеграция и роли в рамките на по-високо ниво на социални и културни процеси. Такава перспектива включва абстрактни и материал самолети на семиозис, до самия текст на генерализирана семиотична потенциал на гама от семиотична ресурси се предлагат за членове на културите, и при идентифицирането на функционалните роли на избор и структури в рамките на текстове по отношение на висшето ниво, социални и културни процеси.

В (цифрово-двигателни) информационната епоха, която характеризира човешката култура през последните десетилетия, като цялостна перспектива става все по значение, като средство за отчитане на комплекса поток от значения в съвременната човешка култура по отношение на своите колектор аспекти, но също все по-трудно да се проучи как един акаунт, като аналитик за огромното разпространение и сложни взаимоотношения на знаци, както в случаи на дискурс и intertextually (Кръстева, 1986), знаци, които работят в различните дискурси и различните култури? Как един модел semiosphere и други понятия на семиотиката като теоретични ресурси за прилагане на реални задачи анализ? Какво прави цялостен социално-семиотична перспектива налага по отношение на подробен емпиричен анализ, особено в рамките на интерактивна цифрова среда, където може да се прилага анотации и други (например автоматизирани, полу-автоматизирани изчислителни) техники за анализ, съхранява и по-късно възстановен и разпитван, визуализирана и т.н.?

Изтънченост и нива на абстракция на теориите, разработени в рамките на семиотиката традиция, най-вече чрез посредничеството на страница дискурс, не лесно се превръщат в модели за анализ, чрез който учените може да се ангажира интерактивно със съвременни мултимодални документи. Какво означава това в реален анализ, за??да приеме “semiosphere гледна точка на множество от знаци в мултимодална дискурс и означаваше своите социални функции? Това са въпроси, от централно значение за проектите, настъпващи в Лаборатория за анализ на многомодалната на Interactive & Digital Media институт (IDMI) в Националния университет на Сингапур, които имат за цел да разработи софтуер, средства и техники за мултимодални семиотична научноизследователска и преподавателска.

Интерактивни Digital семиотика

В допълнение към възможностите и предизвикателствата на семиотика, от все по-развиваща се средства за комуникация в цифрова интерактивна медия, има и възможности в използването на такива технологии и техники за практиката на себе си семиотика. Софтуерни приложения като Praat звук, и мултимодални анотация инструменти (Rohlfing др, 2006), както ELAN били използвани през последните години в широк спектър от изследвания на човешки и животински комуникация, сочейки с огромен потенциал, държани от софтуерни технологии и техники за изследване на комуникацията. Въпреки това, съществуват много софтуер-базирани ресурси, както и свързаните (например математическо моделиране) техники, които са били взети на физични, биологични и социални науки, но остават относително не се използва пълноценно, а може би и неадаптирани за проучване на семиотика.

Мултимодална лабораторни анализи в момента сайт за различни проекти, които са насочени към основното предизвикателство на развиващите се софтуерни ресурси и техники, които са специално пригодени за проучване на семиотика, особено в рамките на цялостен перспективи, като например тези на Лотман и Холидей, и за преподаване и учене в рамките социалните науки като цяло. Под директорство на semiotician Кей О’Халоран, с голям екип от компютърни специалисти, учени, инженери и социални учени в лабораторията работят заедно върху развитието и използването на софтуерни средства и техники за научни изследвания и преподаване на семиотика, обединяващи знания и подходи от различни дисциплинарни и теоретични перспективи, вече по компютърни науки и инженерство, математика, и семиотика, за да изследва силата на тяхната интеграция в контекста на софтуер, дизайн.

Тук акцентът е не само върху изучаването на семиозис, използване на интерактивни цифрови медийни средства, но също така и на теоретичните предизвикателства и проблеми цифрови семиотика повдига (О’Халоран, Тан, Smith & Podlasov, 2010). Докато е ясно има огромен потенциал, които се предлагат в използването на цифровите технологии за развитието на семиотиката теория, модели и техники за анализ, проблемите възникват от епистемология, емпиризъм, редукционизъм, сложност, методология, отношенията на материала и абстрактни самолети – както в рамките семиозис като обект на изследване и в рамките на компютърни приложения, ние се развиват (изчислителни семиозис) и в разработването на модели на семиотиката теория може да се прилагат за анализ на актуални данни в рамките на интерактивна цифрова среда. Ключов аспект на нашия подход е, че софтуерът е семиотична технологии (De Souza, 2005 г.; Andersen et Ал 1993; CF да работи в рамките на изчислителни семиотика): подход на проектирането и разработването на софтуер като семиотичен толкова, колкото и изчислителна задача. Друг ключов аспект на нашия подход е близо интердисциплинарен характер на мултидисциплинарен екип и нашата работа, който пресича границите между (1961) две култури Сноу на науките и хуманитаристиката.

Едно голямо предизвикателство семиотика, адресирани в рамките на мултимодална лабораторни анализи е предоставяне на достъп до сигнала в рамките на мултимодалния текстове (видео, звук, интерактивни уеб страница, и т.н.), и особено сложни анотация ресурси на разположение в рамките на околната среда на изходния текст. Въпреки че много софтуерни ресурси са на разположение, които изпълняват тези функции, специално внимание се отделя в нашия проект за нуждите на семиотиката учени, особено по отношение на осигуряване на разнообразие от различни видове и обекти на анотация анализ, като градиент и системни анотации на динамичен визуални и аудио носители, както и палитра от наслагване на инструменти за анотиране на динамичен статичен и визуалните медии, включително уеб страници и техните вградени хипервръзки. Тези ръчни техники, тогава може да се допълва от разнообразни автоматизирани и полу-автоматизирани алгоритмични анализи, които добиват най-вече ниско ниво информация от медиите сигнали. Тези различни видове анализ могат да бъдат сравнени и корелация, както в рамките на база данни и интерфейс среди. Човешкото потребителят е в центъра на процеса по всяко време: намерението е да се поставят редица сложни изчислителни инструменти в ръцете на семиотиката учени.

Така, на ниско ниво и по-високо ниво перспективи могат да бъдат обединени в рамките на една място. Това е да се разгледа въпроса за отношенията на материални и абстрактни самолети в рамките на семиозис, в сърцето на семиотиката от най-ранните съвременни теории на Пърс и Сосюр, чрез пионерите на съвременната семиотика като Hjelmslev, Барт, Холидей и Лотман, към съвременните проблеми центриране по семиотика на интерактивни цифрови медии. Софтуер алгоритми са много успешни в откриване на ниско ниво информация за цялата потенциално много големи набори от данни; предимство тук е, че такива анализи могат да се съпостави заедно с и да се тълкува в контекста на по-високо ръчно анализи от semioticians, които обикновено работят в много по-високи нива на абстракция. Отношенията на абстрактни и материални явления също се появява в разработването и прилагането на модели за софтуера самата заявка: точно както се случва в езикови и други (между-) семиотична ресурси, ние открихме, че увеличението в обхвата и сложността на софтуерни функции функции и изискват по-сложни и абстрактни нива на организация в рамките на програмата за софтуерен дизайн, с цел за да се отнасят различни свойства и функции един към друг и по-ниско ниво програми, които могат да се справят с данни и потребителски вход на по-високи ниво функции, които правят софтуера полезен и адаптирани semioticians.

Въпроси, свързани различни анализи към един друг и им източник текстове в рамките на една база данни околната среда стане ясно, когато обмисля multimedial и мултимодални данни, по-специално по отношение на функциите на търсене и извличане, които основа за разпит и визуализация на собствени анализи както и източник на данни, с два въпроса, по-специално пред разработчиците на тези ресурси софтуер: как да се отнасят на различни медии и техните анализи в рамките на база данни и интерфейс, как да се управлява огромна детайлност и сложност, която възниква при провеждане на множество анализи на мултимодална корпуси (както от физически, така и от екипи от учени). Моделиране на такива нива на организацията и техните отношения са разработени и приложени, които ефективно да тълкувам изчислителни отношения между същественост на самолети на изразяване в рамките на софтуера за бази данни и интерфейс, медиите, които се изучават и различни анализи (ръчни и автоматични), който човешкото анализатор се прилага, както и ресурси за разпитва и визуализиране на такива анализи.

Това е едно нещо да се обсъдят и дори концептуализира или модел semiosphere, в писмена или IMAGIC (това е страница) дискурс, в общи линии или, както се прилага към разглеждане на действително semiosic дейност в рамките на текстове, е съвсем друг модел на semiosphere в изчислителни условия, както предприятието във връзка с неговите части: за да покаже как специфични анализи (анотации, алгоритми) може да бъде свързано с цялостна перспектива на семиотичното вселена, която “прави специфични подписали истински акт”. Интерактивна цифрова среда изисква повече от анализатор от това, което Monelle (2000 г.: 3) се отнася до (по отношение на развитие на теоретични модели за семиотиката на музика), като “discursiveness и непоследователност… сноп от есета”. Тук, визуализация и математически техники за разпит на данни на сложни и различни анализи се оказват потенциално много полезно при вземането на semiosphere “истински”, в смисъл на организиране на концепцията за съотнасяне на много различни видове данни и анализи един на друг в рамките на цялостна перспектива, които могат да идентифицират и / или извод модели и по-високо ниво семиотично форми на организация в мултимодална дискурс. Софтуерът на околната среда позволява на анализатора да нареждам в рамките на интерфейса разнообразие от различни анализи (включително и на резултатите на различни изчислителни и математически операции върху данните и при анализите на semioticians “) в множество конфигурации, например, че по-големите модели и съотношения на моделите се появяват. По този начин, че това, което може да бъде по друг начин, достъпен само чрез интуиция или дискурсивна изследване е заземен и всъщност излиза от емпиричния анализ на специфичните особености на текста от знаци, и техните колектор и сложното взаимодействие в рамките на текстове.

Digital семиотика, разбира се, може лесно да се прилагат или тълкуват като редукционист, особено когато става въпрос за автоматизирано (алгоритмични) анализи на ниско ниво, като изстрел и откриване на терена, събитие, говорител, лицето и оптично разпознаване на символи и откриване, се считат. Ръчно анализи в цифрова среда, може да има склонност към емпирични descriptivism, тъй като учени прилагат анотация техники в непосредствената околна среда на текстове, които не се поддават на нивото на абстракция, които обичайно се очаква в рамките на семиотиката на изкуството дискурс. Но това е предизвикателство, което интерактивни ресурси цифров предлага semiotician: за да се превърне теории и концепции в някаква форма на реалност “материал”, или в действителност в някои символна форма – в “цифрови знаци” – способни на представителство в рамките на софтуерен интерфейс и база данни, подлежи на изпълнение в рамките на appliable рамка за анализ. Богатството на работа в рамките на изискванията семиотика традиция, че в крайна сметка, цифрови техники за анализ трябва да отговори на по-високо ниво на холистичен перспектива по текст, като единство на интеграция на признаци в рамките на semiosphere, които те обитават и които се насища признаци със смисъл.

Digital анализ разбира се, трябва да да винаги да се появят в тандем с по-традиционните начини на работа, и ще черпят от тези за материали и методи. Semiologist е винаги в центъра на картината: не могат да се надяват за цифров софтуер, който автоматично ще произвежда идеи като тези на Hjelmslev, Барт, Лотман или Холидей. Но цифров семиотика прави такива прозрения по-достъпна за тестване чрез анализ на текст, и осигурява много по-голям капацитет за вникване в явления, които не са лесно достъпни и с “невъоръжено око”. Digital софтуер е семиотична технология: с него, ние откриваме нови начини за за провеждане на семиотична изследвания и създаване на семиотиката дискурс. В този смисъл, ние сме разширяване на потенциала за semioticians (привличане и адаптиране фраза от Фърт 1957 г.) създават мултимодални семиозис за семиозис. Налице е потенциал за създаване на аналитично recursvive линия, при която нашите собствени анотации и други анализи се превърне в място за по-нататъшно проучване, тъй като ние даваме нашите анализи значение в рамките на база данни и интерфейс: ние можем да изучаваме нашите собствени анализи. И двете Това позволява да ни отделят от специално аналитични или теоретични подходи, а претенциозните по-високо ниво моделиране разкри чрез корелация на различни анализи, чрез търсене и извличане на база данни, математически операции и визуализации, или просто чрез търсене в визуализации на самите анализи.

При разглеждането на потенциала на интерактивна цифрова софтуер в рамките на семиотиката и култура като цяло, ние си спомняме наблюдения на Лотман и Успенски (1978: 229):

“Възможността за удвояване на метаезик формации на неограничен брой нива, заедно с въвеждането на все по-нови обекти в сферата на комуникацията, форми на резерв на културата в информация.”

Мултимодални Анализ Lab Team

Кей О’Халоран, Роберто Мариани, Christel Лоик Tisse, Алексей Podlasov, Брадли Смит, Арун Nagarajan, Стефано Fasciani, Цин Xiaoling, Ричард Ръсел, Бертран Grandgeorge, Naing Thiha Htoon, Muthuveerappan Alagappan Мариса E Kwan Лин, Melany Легаспи, Алвин Чуа Юнг Хуа, Ong Kian Peng (бин), Rohanizah Али, Sabine Тан, Моника Owyong, Лиу Ю, Виктор Лим Фей, Джан Yiqiong, Фън Dezheng, Loh Буун Лян.

Позоваването