Везде
Куда движется современная экономическая наука: горизонтальный прогресс, превосходство метода и замещение теории дискурсом
Оглавление
Аннотация Оценить Содержание публикации
Библиография Комментарии
Поделиться
QR
Метрика
Куда движется современная экономическая наука: горизонтальный прогресс, превосходство метода и замещение теории дискурсом
Аннотация
Код статьи
S086904990006636-1-1
DOI
10.31857/S086904990006636-1
Тип публикации
Статья
Статус публикации
Опубликовано
Авторы
Кошовец Ольга Борисовна 
Должность: Старший научный сотрудник Института экономики РАН; старший научный сотрудник Института народнохозяйственного прогнозирования РАН
Аффилиация:
Институт экономики РАН
Институт народнохозяйственного прогнозирования РАН
Адрес: Российская Федерация, Москва
Выпуск
Номер 5
Страницы
175-190
Аннотация

В статье в рамках более широкого контекста дискуссии о том, куда движется современная экономическая наука, обсуждается недавняя попытка Д. Родрика обосновать “инструменталистское” определение предмета экономической науки, отказ от теории в пользу экстенсивного развития частных моделей и идею “горизонтального прогресса” в развитии дисциплины. Исходя из тезиса о том, что "горизонтальный прогресс" – это скорее попытка описания сложившейся системы производства экономического знания и ее легитимации в рамках академического и общественного дискурса о целях экономической науки, мы анализируем важные изменения в практиках производства экономического знания и рецепцию самими экономистами этих изменений. Их можно охарактеризовать как фундаментальный сдвиг от науки, теории и объяснения действительности к ремеслу (экономика как искусство), технике (экстенсивное развитие универсально применимого формального инструментария) и конструированию реальности (реальностей). В связи с этим мы поднимаем вопрос о трансформации экономической науки, ее эпистемической культуры под влиянием взаимодействия/сращивания с неакадемическими сферами производства знания, в частности, с госуправлением. В заключение мы рассматриваем траекторию развития экономической науки от “эффективной теории” к транс-эпистемической области на стыке академического и политического миров, сферы бизнеса и СМИ.

Ключевые слова
горизонтальный прогресс, экономическое знание, модели, инструментализм, плюрализм моделей, экономическая теория, дискурс
Классификатор
Получено
26.09.2019
Дата публикации
26.09.2019
Всего подписок
89
Всего просмотров
2049
Оценка читателей
0.0 (0 голосов)
Цитировать Скачать pdf 100 руб. / 1.0 SU

Для скачивания PDF нужно оплатить подписку

Полная версия доступна только подписчикам
Подпишитесь прямо сейчас
Подписка и дополнительные сервисы только на эту статью
Преимущества подписки
100 руб. / 1.0 SU
Подписка и дополнительные сервисы на весь выпуск
Преимущества подписки
800 руб. / 16.0 SU
Подписка и дополнительные сервисы на все выпуски за 2019 год
Преимущества подписки
4224 руб. / 30.0 SU
1 В данной статье в рамках более широкого контекста дискуссии о том, куда движется современная экономическая наука, хотелось бы поставить вопрос о том, как оценивать прогресс в развитии (теоретического) знания в экономике или, точнее говоря, в моделировании, к которому, по сути, свелось теоретическое знание.
2 В рамках классической научной парадигмы “прогрессˮ понимается как совершенствование нашего теоретического знания о предмете исследования, то есть в случае экономической теории как построение лучших моделей. Однако уже здесь возникает вопрос, что значит “лучшихˮ? Более точных, более универсальных, более полезных, обладающих большей объяснительной силой? Или общепринятых, часто цитируемых, успешно публикующихся, содержащих “вдохновляющие историиˮ? Любой возможный ответ с необходимостью отсылает нас к фундаментальному вопросу о целях экономического моделирования.
3 В контексте этих фундаментальных для экономической теории вопросов хотелось бы обратиться к недавней попытке “защитника мрачной наукиˮ Д. Родрика обосновать идею так называемого “горизонтального прогрессаˮ в моделировании, которое он считает основной целью занятий экономистов и экономической науки как сферы знания. В частности, он утверждает: “Знание аккумулируется в экономике не вертикально, когда лучшие модели сменяют худшие, а горизонтально, когда новые модели объясняют различные социальные проблемы, которые ранее не получали вниманияˮ [Rodrik 2015, p. 67]. Итак, суть прогресса не в замене старых моделей новыми, а в расширении возможных подходов и методов к объяснению социальных феноменов. Исходя из этого, задача развития экономического моделирования видится в том, чтобы обнаружив/идентифицировав проблему подобрать/создать для нее подходящую модель. Фактически, это ответ Родрика на вопрос о целях экономического моделирования и его ви́дение сути прогресса (чем больше возможный выбор, тем лучше).
4 Идея Родрика о “горизонтальном прогрессеˮ вызвала дискуссию, в частности, о том, можно ли считать экспансивное “горизонтальное развитие” прогрессом или особым видом научного прогресса, и как в контексте задач предсказания и определения экономической политики выбирать из имеющегося набора моделей, как идентифицировать правильную/подходящую к случаю модель [Aydinonat 2018; Kuorikoski, Lehtinen 2018]. Наконец, некоторые участники дискуссии [Grüne-Yanoff, Marchionni 2018] поставили вопрос о том, что “горизонтальный прогрессˮ возможен лишь при условии системы ограничений, которая будет направлять подобное экспансивное развитие, и о создании соответствующей процедуры отбора модели, соответствующей конкретной задаче/цели.
5 Данная дискуссия, безусловно, важна, однако она переводит предложенную Родриком идею развития экономического моделирования в сугубо прикладную и нормативную эпистемологическую плоскость, а значит, обсуждение вопросов об идентификации правильных моделей и создании процедур отбора моделей под задачу может длиться бесконечно. Вместо того чтобы обсуждать, правильно ли такое представление или пытаться сделать его нормативно значимым, гораздо интереснее посмотреть на идею “горизонтального прогрессаˮ в онтологическом, ценностном и институциональном контексте. Ведь, в конечном счете, предложенное Родриком ви́дение стало своеобразным ответом на мощную критику, которой подверглась экономическая теория в связи с мировым финансовым кризисом 2007–2009 гг.
6 По моему мнению, идея “горизонтального прогрессаˮ – это, по сути, попытка описания (и тем самым фактического признания) сложившейся практики производства экономического знания и легитимации этой практики в рамках научного и общественного дискурса о целях и задачах науки и ее пользе для общества. В этой связи интересно обсудить, на какие имплицитные эпистемологические посылки и институциональные факторы опирается идея горизонтального прогресса, что составляет ее ценностное ядро и какую траекторию развития экономического знания она предполагает.
7 Далее в первой части данной работы я сосредоточусь на анализе важных изменений в практике производства экономического знания и рецепции самими экономистами этих изменений. В целом их можно охарактеризовать как фундаментальный сдвиг от: науки, теории и объяснения действительности к ремеслу, технике и преобразованию (конструированию) реальности. Речь, в частности, идет о таких явлениях, как “эмпирический поворотˮ, решающее значение эконометрических оценок для деятельности экономистов, а также отказ от сциентистских претензий как риторическая стратегия с целью избежать обвинений в сциентизме. Думаю, что эти изменения происходят в “горизонтальном направленииˮ, то есть принципиально предполагают экстенсивный и/или экспансионистский путь развития дисциплины. Затем я коснусь нескольких ключевых онтологических и эпистемологических особенностей экономического знания, которые с необходимостью вынуждают экономическую науку развиваться “вширьˮ, в том числе создают объективные условия для так называемого “экономического империализмаˮ.
8

Экономическое знание как инструмент, техника и ремесло
9 Итак, идея “горизонтального прогрессаˮ в экономической науке означает, что экономическое моделирование развивается путем расширения нашего “модельного ассортиментаˮ, которое понимается как построение все новых моделей с целью создания своеобразной “библиотеки моделейˮ на все возможные случаи. При этом суть утверждения Родрика не только в том, что как раз таким образом развивается экономическое моделирование, а именно в том, что такой тип развития конституирует определенный прогресс.
10 Здесь ключевым оказывается то, как Родрик понимает экономическую науку. Иными словами, понимание прогресса предполагает определенное ви́дение целей и задач соответствующей дисциплины. Вот что мы читаем у него: «Термин “экономическая наукаˮ (economics) стал использоваться в двух разных смыслах. Одно определение делает акцент на содержательном аспекте исследований; в такой интерпретации экономическая наука — это одна из наук об обществе, цель которой — понять, как устроена экономика. Второе определение делает акцент на методах: экономическая наука — это один из способов изучения общества с применением определенных инструментов. В такой интерпретации дисциплина ассоциируется с аппаратом математического моделирования и статистическим анализом, а не с определенными гипотезами или теориями относительно экономики. Отсюда следует, что экономические методы можно применить помимо экономики ко многим другим сферам — начиная от принятия решений в семье и заканчивая вопросами о политических институтах. Я использую термин “экономическая наукаˮ во втором смысле» [Rodrik 2015, p. 7].
11 Из приведенной цитаты, очевидно, явствует, что экономическая наука здесь редуцируется к моделированию или – лучше сказать иначе – предстает исключительно как метод, который является развитым, универсальным и применимым ко многим другим сферам. Такое определение, в целом разделяемое многими экономистами, закономерно отражает то состояние, к которому экономическая наука пришла на рубеже XX–XXI вв., когда моделирование стало основным содержанием обучения и ключевым элементом деятельности работающих в этой сфере специалистов, а сама дисциплина предстает как “ящик исследовательских инструментовˮ по производству “как если быˮ (as if) теорий и знания о любом (“возможномˮ) социальном мире. В итоге экономическая теория, по сути, специально не связана (как это ни парадоксально) с изучением экономической реальности.
12 Такое определение экономической науки (далее будем называть его “инструменталистскимˮ) становится доминирующим, прежде всего в силу дисциплинарных и институциональных факторов развития. В частности, это превращение обучения экономике в индустрию и перепроизводство экономистов, что закономерно ведет к возрастанию значения формальных критериев и процедур и неминуемо отражается на учебном процессе и его содержании, а также на публикационной политике ведущих экономических журналов, которые превратились в инструмент сертификации качества научной продукции, обязательно подразумевающий изощренное моделирование [Капелюшников 2018, c. 10]. Вместе с тем представление об экономической науке сугубо как об инструменте подразумевает сверхценность моделей и формальных техник для экономистов. Причем не только потому, что тут мы видим основу и ключевое содержание их научной деятельности, а также способ производить знание, но и потому что на этом во многом базируется широко распространенный в академических кругах дискурс, который ряд исследователей характеризует как “миф о научном превосходствеˮ экономистов [Maesse 2016]. Это превосходство подразумевает эталонный характер экономического знания и высшую позицию для экономики в дисциплинарной иерархии [Fourcade, Ollion, Algan 2015] ввиду ее особого “научного статусаˮ (соответствия “естественнонаучному стандартуˮ) среди всех социальных наук [Colander 2005].
13 Безусловно, претензии на особую “научностьˮ – отчасти риторическая стратегия, позволяющая идентифицировать и относить экономическую науку к особо ценным частям научного знания вообще. Между тем после мирового финансового кризиса 2007–2009 гг. обозначилась новая, крайне интересная тенденция: отказ экономической науки от сциентистских претензий, то есть от стремления строгого соответствия “естественнонаучному стандартуˮ [Ross 2018] и приравнивание деятельности экономиста к ремеслу (craft), в том смысле, что преимущество экономистов не в знаниях, а в умениях (мастерстве, опыте, компетенции) [Leamer 2012]. Исходя из этого, задача экономического моделирования предстает совсем иначе, не как поиск каузальных связей (они существуют лишь в голове интерпретатора), а как рассказывание “вдохновляющих историйˮ, в том числе, потому что нарративные структуры позволяют помнить экономические уроки.
14 Родрик придерживается похожей позиции, считая модели баснями, которые содержат ясно просматривающуюся мораль (“выводы для государственной политикиˮ): “…свободные рынки эффективны, оппортунистическое поведение в стратегическом взаимодействии может ухудшать положение всех его участников, стимулы имеют значение и так далееˮ [Rodrik 2015, p. 19]. При этом он не считает, что такое сравнение “принижает научный статусˮ моделей. По его мнению, часть их привлекательности как раз в том, что они “работают как басниˮ, поскольку уже с момента обучения будущий экономист усваивает соответствующее мышление (“остается с постоянным уважением к власти рынковˮ): “Даже если конкретные детали моделей забыты, они остаются шаблонами для понимания и интерпретации мираˮ [Rodrik 2015, p. 20].
15 Из этих рассуждений можно сделать два любопытных вывода. Несмотря на казалось бы антисциентистскую и имплицитно содержащуюся антиреалистическую позицию, риторическая стратегия, сравнивающая модели с баснями (историями), призвана защитить моделирование как основную практику экономистов и поддержать представление о моделях как о сверхценном инструменте. Только акцент здесь смещается с познания, описания и объяснения реальности (исходно модель – это прототип, упрощенное представление объекта) на усвоение определенных обобщенных шаблонов, типических представлений о том, как мыслить “экономическоеˮ, то есть подчеркивается конструктивная и генеративная роль моделей.
16 Здесь важно подчеркнуть, что антисциентистская риторика не должна вводить в заблуждение. Формально экономисты отказываются лишь от претензий на построение социальной физики, “чьи законы точно такие же, как в физике, и, будучи однажды признаны верными, верны всегдаˮ [McLure 2001, p. 69], то есть от того, что теоретическое научное знание есть знание par excellence. Но они не отказываются от статуса, которое сообщает их профессии соответствие естественнонаучным стандартам и в особенности “математической рациональностиˮ. Отказ от сциентистских установок здесь, по сути, лишь легитимирует то, что и так давно по факту произошло в рамках развития дисциплины, – утрата ею эпистемологического реализма. Иными словами, отказ от поиска каузальных связей – это открытое признание, что задача описания/объяснения действительности больше не является релевантной/значимой/ключевой для экономистов, теперь у нее новые эпистемологические задачи, которые должны стать дисциплинарной нормой. Так, Д. Коландер прямо призывает к тому, чтобы “политико-ориентированные экономисты стали воспринимать себя инженерамиˮ, это подразумевает, что они должны перестать считать себя учеными, ориентироваться на научные критерии и искать истину. Их задача – решение проблем, при понимании и, соответственно, использовании моделей, эвристик и эконометрической техники исключительно как средств решения конкретной, узкой задачи или случая [Colander 2017, p. 731–732].
17 По этой причине в рамках антисциентистского дискурса особое внимание уделяется мастерству и компетенции (вместо теоретических знаний), однако, по сути, такой акцент указывает на то, что авторитет и позиция экономиста, а также имеющиеся в его распоряжении инструменты становятся важнее. При этом они лишь поддерживаются наукой (академическим капиталом, представляющим систему высококачественной формальной и неформальной сертификации [Bourdieu 1989]), но воспроизводятся преимущественно в другой сфере, нежели наука [Кошовец 2008]. Иными словами, наука тут выступает ресурсом и средством приобретения символического капитала. Более того, чем сильнее дисциплина технологизирована (инструментальна), тем лучше, так как ее функция – не только поддерживать авторитет, но и придавать имеющимися средствами и методами объективность и репрезентативность мнению или позиции экономиста-эксперта, высказываемому им в массмедиа, в сфере госуправления или бизнеса. Причем придавать в буквальном смысле – цифрами, графиками, расчетами, которые как форма представления знания имеют чрезвычайно высокий статус доверия. Таким образом, существенным становится не само знание, а субъект, обладающий определенным статусом и репутацией, которую он сообщает транслируемой им позиции, а кроме того, именно способы получения и представления знания/информации/позиции приобретают ключевое значение и особую ценность в рамках системы производства знания [Кошовец 2008].
18 Полагаю, что идея “горизонтального прогрессаˮ не только комплементарна “инструменталистскомуˮ определению экономической науки, но и полностью соответствует тренду на отход от сциентистских теоретических установок в пользу ориентации на конкретные прагматические задачи. Причем данные задачи формируются преимущественно за пределами науки. Идея “горизонтального прогрессаˮ добавляет к этому то, что экономист должен заботиться преимущественно об обширности создаваемого им инструментария, позволяющего предоставлять максимальный выбор. Но кому? Акцент на многообразии моделей и возможности выбора, по сути, означает, что выбор здесь неявно переносится (хотя бы частично) на того, кто будет пользоваться инструментом, а следовательно, и отвечать за эффективность, адекватность, целесообразность его применения. Иными словами, речь идет о том, что У. Бьерг характеризует как проблему “ответственности экономистовˮ и “ответственности политиковˮ (последние должны хотя бы разделять часть ответственности с экономистами).
19

“Эконометриковериеˮ и эмпирический поворот:

превосходство метода
20 Отказ от сциентистских претензий и понимание профессии экономиста как “ремеслаˮ происходит в рамках выраженного тренда на прагматизацию экономического знания. Это ответ не только на колоссальную фрагментированность знания в экономической науке, которая началась в 1960-х гг. и выразилась в движении по пути массового производства частных моделей, а затем лишь усилилась на фоне разрастания сферы прикладных эмпирических исследований с начала 1990-х гг. Прагматизация экономического знания отражает и существенные сдвиги в процессе обучения экономике. Экономические факультеты постепенно уступают место бизнес школам [Stock, Sigfried 2014], что, в частности, выражается в резком снижении внимания к теории и повышению роли обучения на кейсах.
21 Представляется, что идея “горизонтального прогрессаˮ в развитии экономического знания, по сути, отражает эти изменения, а также хорошо вписывается в идущий в последние годы пересмотр практик производства экономического знания, de facto выражающийся в отказе от теории. Наиболее важные тенденции здесь – так называемое “эконометриковериеˮ [Капелюшников 2018] и “эмпирический поворотˮ в экономических исследованиях [Einav, Levin 2014; Boettke, Leeson, Smith 2008]. В первом случае речь идет о такой тенденции, как абсолютное превалирование результатов эконометрического оценивания над общей теорией и часто наблюдаемый конфликт между положениями теории и эконометрическими оценками, сталкиваясь с которым экономисты отдают безусловное предпочтение вторым, полагая общетеоретические принципы условностью, не имеющей отношения к реальности. Это напрямую сказывается на статусе теории (а точнее, отражает ее фактический статус) в рамках экономического знания: она не только не имеет значения как отправная точка для проведения исследований, выбора проблем, но также не участвует в интерпретации полученных оценок (вне зависимости от того, подтверждают ли они теорию или противоречат ей) [Капелюшников 2018, c. 13–16].
22 Однако значит ли это, что исследователю не нужна консистентная картина мира, что реальность предстает “лоскутным одеяломˮ? Возможно, в рамках его частных исследований, действительно, не нужна. Ему достаточно лишь того консенсуса, который существует в его узкой области или в соседней, если данное сообщество исследователей (“эпистемический клубˮ) признает что-либо доказанным, обоснованным фактом. Вместе с тем любая деятельность, связанное с этим целеполагание, результаты и институализированные практики не могут не предполагать общую картину мира. И если в рамках научных занятий теория не участвует в ее формировании, значит, она формируется в каком-то другом месте. Причем в этом “другом местеˮ в силу особенностей его функционирования принципиально снимается проблема противоречия одних научных (эмпирических) фактов другим, положений теории – эконометрическим оценкам.
23 В рамках научной теории (к тому же формализованной и построенной на логико-дедуктивной основе) противоречие по определению существовать не может (иначе это подрывает ее истинность), но оно может существовать в рамках дискурсивных практик и в “картине мираˮ, генерируемых за пределами научной теории, в экспертном знании, массмедиа, политике, системе образования. Экономисты постоянно включены в эти практики. Именно поэтому они не испытывают дискомфорта, находясь в рамках балканизированной реальности и прямо противоречащих друг другу эконометрических оценок. “Точка сборкиˮ, “контекст интерпретацииˮ безусловно включены в их деятельность, только на другом уровне. Вспомним вышеупомянутое замечание Родрика о том, что усвоенные во время обучения шаблоны интерпретации, “мораль басниˮ остается. Отметим также, что исследования убедительно показывают: экономическая наука становится все более и более гомогенной в вопросах ценностных и политических предпочтений [Fourcade 2006; Whaples 2009].
24 Обратимся теперь к другой тенденции. Это резкое повышение научного статуса эмпирических и эксперименталистских исследований, фактически нацеленных на изучение каузальных связей (корреляций) вне связи с какой-либо теорией, так как они не ставят своей целью подтверждения или опровержения какой-либо теории, выступить в роли эмпирического базиса для какой-то теории или концепции или интерпретировать полученный результат, исходя из какой-либо теоретической схемы [Vroey, Pensieroso 2016]. Равнодушие эмпирических и экспериментальных исследований к наличию/отсутствию какого-либо теоретического построения/подхода – закономерный результат зашедшего в тупик развития экономической науки по линии превращения ее в “чистуюˮ дисциплину гипотетико-дедуктивного типа с очень высоким уровнем абстракции [Hutchison 1998; Rosenberg 1992], и реализация противоположной траектории – эмпирического пути развития в особенности на фоне существенного расширения вычислительных мощностей, изобретения целого ряда новых эконометрических техник и многочисленных методологических улучшений в сфере моделирования каузальных гипотез и обработки больших массивов данных [Ross, Kincaid 2009]. Однако, как представляется, гораздо интереснее здесь другое: такие исследования пытаются задать новый эталон научной строгости [Duvendack, Pamer-Jones, Reed 2017], точно так же, как в эконометрических исследованиях. Чем изощрение техника анализа, тем, по мнению экономистов (и экономических журналов, по сути поддерживающих и поощряющих эту тенденцию), лучше результат.
25 Значит ли это, что к нему больше доверия? Возможно. Однако, скорее всего, это указывает на сверхзначимость развития самого инструментария, на задачу постоянного создания каких-то новых методов. Об этом, к примеру, свидетельствует тот факт, что сам расцвет эмпирических исследований сопровождался как резким ростом числа очень слабых и неубедительных работ, так и выработкой новых критериев и жестких стандартов качества, в итоге приведших к так называемой “революции достоверностиˮ [Angrist, Pischke 2010]. И то и другое объясняется как эпистемологическими, так и вполне понятными институциональными причинами. Вместе с тем сама по себе данная ситуация указывает на сфокусированность экономического сообщества на развитии именно методов и техник и на их особую ценность для дисциплины. Этот тренд полностью согласуется с инструменталистской интерпретацией предмета экономики и ее ключевых задач.
26

Горизонтальный прогресс, инструментализм и “плюрализм моделейˮ
27 Идея Родрика о “горизонтальном прогрессеˮ и связанная с этим инструменталистская трактовка экономической науки закономерно вытекает из двух методолого-эпистемологических подходов, развиваемых в рамках философии экономики: инструментализм М. Фридмана и так называемый “плюрализм моделейˮ. Оба они призваны обосновать и институционально легитимировать “превосходство методаˮ как ключевую эпистемологическую стратегию развития дисциплины.
28 Вклад методологических идей Фридмана в инструменталистскую трактовку предметной области экономики определяется тем, что он совершает первый шаг в этом направлении, провозглашая отказ от реалистической установки (ценность моделей определяется их эффективностью, то есть их инструментальными качествами, а не предпосылками – реалистичностью, репрезентативностью). Теоретическая конструкция предъявляет свою релевантность исключительно за счет эффективности предсказаний и умения способствовать решению некоторой практической проблемы [Friedman 1970].
29 “Плюрализм моделейˮ – активно развиваемая и широко дискутируемая в последнее время в экономической методологии тема. Это логическое продолжение вышеозначенных идей инструментализма, но идущее дальше. Под плюрализмом тут подразумевается, что допускается использование нескольких моделей для одной и той же задачи (объекта), скажем, если одна модель А более полезна для одной ситуации (цели) B, а другая модель A полезнее для другой ситуации (цели) В'. Из этого следует принципиальный вывод о том, что сопоставление модели с эмпирическими данными (реальностью) больше не подтверждает и не фальсифицирует ее в каком-либо универсальном смысле, а лишь облегчает выбор подходящей модели для решения конкретной задачи A в частном случае B′.
30 Из этого рассуждения четко видно, что в рамках “плюрализма моделейˮ происходит не только отказ от реалистической установки, но также отказ от идеи истинной модели (знания) и универсального характера модели (знания). Иными словами, знание, генерируемое экономистами, основано на конкретных случаях (case-based), а не на законах (rule-based) [Gilboa, Postlewaite, Samuelson, Schmeidler 2014]. Вполне закономерен следующий шаг в рамках этой эпистемической стратегии – отказ от теории (как ключевого элемента системы научного знания). Отмечу, что такая антиреалистическая и антиуниверсалистская конструкция хорошо соотносится не только с инструменталистским определением экономики как дисциплины, но и с антисциентистской риторикой целого ряда экономистов. В свою очередь, и инструменталистская трактовка дисциплины, и антисциентизм, и “плюрализм моделейˮ базируются на принципиально схожем отношении к онтологии и к теории на основе примата практической пользы/целесообразности.
31 Инструментализм легитимирует отказ от содержательных онтологий в пользу развития формальных методов и техник, “замещенияˮ математическим аппаратом традиционных средств построения онтологии (предметной области) наук. В результате содержательные онтологии вытесняются формальными, обладающими способностью к порождению любой реальности (логически “возможных мировˮ). Между тем, как верно подмечает Р. Коуз, “реализм предпосылок заставляет нас исследовать тот мир, который существует, а не воображаемыйˮ [Coase 1994, p. 18].
32 В этой связи в рамках концепта “плюрализм моделейˮ принципиально принимается тезис о нереалистичности или даже ложности посылок модели. Но так как они выступают как “аналогииˮ [Gilboa, Postlewaite, Samuelson, Shumeidler 2014], “правдоподобные/возможные/параллельные/гипотетические миры” [Sugden 2009], “выдуманные мирыˮ [Lucas 2011], “логические протезыˮ [Donato-Rodrıguez, Zamora-Bonilla 2009], то экономисты извлекают из этого большую пользу, используя модели как “кейсыˮ, “лабораторииˮ, с которыми сравнивается/в которых испытывается та или иная проблема. Данные представления развиваются в контексте набирающего популярность в философии науки представления о моделях как о “фикцияхˮ (fiction), которое подразумевает, что модель создается не для того, чтобы “репрезентировать или описать мир, в котором мы живемˮ, а скорее, чтобы “вообразить или задать некий мир, который описывается в форме модели (в уравнениях, диаграммах или даже создается машиной)ˮ [Morgan 2014, p. 232]. Иными словами здесь неявно принимается идея о том, что эпистемологические интересы экономистов подталкивают их к производству искусственных объектов с совершенно иным онтологическим статусом, нежели объекты классической науки.
33 Представление о том, что модель не имеет репрезентативных функций (исходно модель – аналог чего-то в реальности, идеализированная, абстрактная репрезентация какого-то объекта), а представляет собой лишь “инженерныйˮ инструмент (средство конструирования), закономерно ведет к идее о том, что модель не является элементом теории. Действительно, для большинства экономистов теория – это просто расширенный набор аксиом безотносительно того, способны ли они вообще моделировать какие-либо реальные экономические ситуации [Leamer 2012]. В этом контексте модели, с одной стороны, четко отделяются от теорий (не нацелены на понимание того, как устроен определенный фрагмент реальности, не содержат гипотез относительно него и т.п.), а с другой – отождествляются с теориями (при этом теории сводятся исключительно к формальным элементам и компонентам и полностью отвязываются от предметной реальности).
34 Родрик отмечает, что “у теории имеются амбицииˮ, так как это “собрание идей и гипотез, выдвинутых с целью объяснения определенных фактов и явленийˮ [Rodrik 2015, p. 113]. Вместе с тем далее он утверждает, что имеющиеся в экономической науке теории либо настолько общи, что имеют минимальное отношение к реальности, либо настолько специфичны, что описывают очень маленький кусочек реальности. Из этого Родрик заключает, что по сути все теории в экономике – “частные коллекции моделей, наборы инструментов, а не универсальные объяснительные схемы для явлений, которые изучаются с их помощьюˮ [Rodrik 2015, p. 1441].
35 Здесь не может не возникнуть вопрос, который был обозначен во введении: если, с одной стороны, теории не важны, и модели, по сути, и есть частные теоретические кейсы, а с другой – модели это просто инструменты, которые не содержат гипотез относительно реальности (изучаемого объекта), то на основе чего интерпретируются результаты моделирования, где находится контекст обоснования самих моделей? Р. Сагден отмечает, что в экономических моделях часто отсутствуют конкретные указания относительно того, где они применимы, таким образом, индуктивный вывод из моделей зависит от субъективных суждений об их предполагаемом сходстве с чем-то в реальности [Sugden 2009, p. 4]. При этом вывод не может быть сформулирован на математическом или логическом языке.
36 Действительно, как бы экономическое знание ни сводилось к математическим моделям, чтобы обладать экономическим смыслом модели должны иметь содержательные предпосылки, привязывающие их именно к экономической реальности (не просто кривая, а кривая спроса) и позволяющие интерпретировать полученные из них результаты как экономические с целью придать им соответствующую практическую значимость. Это подразумевает использование языковых средств, которые не являются нейтральными (объективными) и существуют в рамках культуры. При этом языковые средства всегда ценностно нагружены и детерминированы социальными и институциональными условиями, в рамках которых они воспроизводятся [Кошовец, Ореховский 2018]. В этом смысле модели также представляют собой социальные, лингвистические и риторические феномены, они могут и должны рассматриваться как системы убеждений, в которые люди верят и на основе которых они действуют [Samuels 1991].
37 Последнее с неизбежностью возвращает нас к теме моделей-басен и позволяет понять, почему такое сравнение экономисты не считают принижающим. Модели – это эвристически полезные, хотя и принципиально искусственные, конструкции, зато отличающиеся такими свойствами, как простота, наглядность, наличие аналогии, что делает их и правдоподобными, и одновременно так похожими на “басниˮ [Rubinstein 2006; Rodrik 2015]. Сравнение с баснями неявно вводит перформативный элемент: в этом плане смысл моделей в закреплении в социокультурном пространстве определенного “рассказаˮ, “вдохновляющих историйˮ [Leamer 2012] и содержащихся в них представлений о реальности (или конструирование символической реальности в соответствии с этими представлениями [Maesse 2013]). Сравнение с баснями неявно намекает, что содержание в моделях всегда есть и оно устойчиво воспроизводится. Но откуда оно там появляется?
38

Трансформация экономической науки: от “эффективной теорииˮ к транс-эпистемической области и от “экономикиˮ к “экономическомуˮ
39 Прежде чем ответить на поставленный выше вопрос, подведем некоторые итоги: инструменталистское определение предмета экономической науки и предполагаемая этим траектория дальнейшего развития дисциплины получили широкое распространение и поддержку у значительной части экономистов, так как такое положение фактически легитимирует status quo, реальные практики производства экономического знания и связанные с этим институциональные условия. Вместе с тем данное представление о дисциплине и ее дальнейшем прогрессе также обусловлено эпистемологическими причинами, сложившейся эпистемической культурой. В рамках этой культуры формализованное знание, метод, техники, инструменты получения знания имеют безусловный приоритет, во-первых, поскольку позволяют экстенсивно развивать дисциплину и предъявлять экономическое знание как эталонное в системе общественных и гуманитарных наук, во-вторых, поскольку поддерживают широко распространенный в академических кругах дискурс “о научном превосходствеˮ экономистов и высшую позицию для экономики в соответствующей дисциплинарной иерархии. В то же время научное превосходство экономистов обеспечивается не только академической средой, а частичной встроенностью экономистов в другие сферы, где востребовано и отчасти воспроизводится экономическое знание.
40 После институционализации экономики как научной и учебной дисциплины в соответствии с естественнонаучным каноном в конце XIX–начале XX вв., дальнейшее значительное воздействие на развитие ее эпистемической культуры оказало взаимодействие с властью. Это произошло в рамках перехода государства к новому типу технократического управления и привлечения экономистов в систему управления, но уже не в прежней позиции политэкономов, советников государя, а в позиции технократов, экспертов, социальных инженеров. В такой перспективе экономика развивалась не столько как фундаментальная наука, которая подразумевает поиск истины, объективных законов и создание наиболее полной и точной репрезентации объекта, сколько в прикладном инженерном ключе. Она предстает как “эффективная теорияˮ, которая предполагает создание верифицируемого знания, позволяющего делать предсказания и управлять объектом знания, делать его прозрачным для “взгляда государстваˮ, чтобы упростить выполнение его основных функций. Однако, когда такая эффективная теория становится важным конститутивным элементом государственного управления, затем она неизбежно начинает обращаться в политической сфере, где наиболее существенным является не то, как на самом деле, а как должно/желательно. Это означает, что рано или поздно экономическая теория подвергается серьезной деформации, связанной с целями политика, а также начинает частично воспроизводиться в принципиально иной, нежели научное сообщество, среде, подчиняясь закономерностям развития этой новой сферы.
41 Зададимся вопросом, а чем в реальном мире обусловливается экономическая политика? Разумеется, не экономическими теориями (они носят вторичный, обслуживающий характер), а интересами политика, задачами его воспроизводства себя как политика (ему необходимо переизбираться), которые требуют учета интересов определенных (наиболее значимых) групп избирателей (спонсоров). При этом действия политика в экономической сфере и их конкретные результаты могут обосновываться /интерпретироваться/оцениваться/легитимироваться той или иной теорией. В результате постоянно образуется зазор между тем, какова политика в действительности, и тем, как она представляется, интерпретируется, оценивается в рамках той или иной теории и/или общепринятого дискурса. Сближение/расхождение между сферой государственного управления (политической сферой) и экономической теорией как эпистемологическими порядками формируют взаимную зависимость в направлении развития этих сфер и постоянную дискурсивную ре-артикуляцию обращающегося знания и связанных с ним практик. Иными словами, экономическая теория и политическая сфера (госуправление) входят в сложные отношения взаимной координации и взаимного подкрепления, становясь конститутивным элементом друг друга.
42 Между тем за последние 30–40 лет ситуация существенно усложнилась. Современная экономическая наука – это не чистая сфера академической деятельности и не изолированная эпистемическая культура. Это скорее транс-эпистемическая область, расположенная на границе между академическим миром, массмедиа, политической сферой и бизнесом. Между этими мирами происходят обмены, обращение “товаровˮ и символов, а также дискурсивная ре-артикуляция, в рамках которой формируется сеть взаимодействия и определяется место каждого из перечисленных миров в рамках подвижного целого [Maesse 2016, p. 16]. Важную роль в этих сетях играют структуры, складывающиеся вокруг институтов формирования и управления экономической политикой, – советов, министерств, центральных банков, экспертных центров. Их роль – проведение дискуссий, в рамках которых ученые-экономисты, включенные в эти структуры, могут занять соответствующую экспертную позицию в отношении определенной идеи и в рамках определенного дискурса, сформировать единое с политиками мнение, получить/упрочить свой символический капитал. Затем данные позиции могут ретранслироваться по всей цепочке и воспроизводиться в СМИ, конструируя в рамках социальной реальности согласованное представление об “экономическомˮ. Отсюда следует ряд важных выводов.
43 Первый – современное экономическое знание воспроизводится не только в рамках академического сообщества, но по большей части за его пределами. Это означает, с одной стороны, что оно подчиняется закономерностям функционирования и развития иных сфер, нежели наука, следовательно, классический научный этос – поиск истины – утрачивает свое значение. С другой стороны, это позволяет различным элементам экономических теорий (как правило, формализованным “универсалиямˮ, образующим “аксиоматическое ядроˮ) и техникам встраиваться в реальные экономические процессы и становиться частью оборудования, “которым экономические агенты и обычные граждане пользуются в своих повседневных экономических взаимодействияхˮ [Fourcade, Ollion, Algan 2015, p. 109].
44 Второй важный вывод заключается в том, что ученые (“экономическая наукаˮ) в этой сети выступают как носители академического “символического капиталаˮ, “научного качестваˮ и “научной эффективностиˮ, но не как носители истины или каких-то гипотез/представлений о действительности. В этом контексте неинструментальное знание не может стать ресурсом или работать на формирование “академического капиталаˮ. Знание, представляемое в форме статистических и эконометрических расчетов, математических моделей, графиков (средство объективации, придания наблюдаемого характера), а также принципиально “технологичноеˮ имеет в современном обществе и в рамках сложившейся культуры наиболее высокий уровень доверия. Кроме того, в него легче инкорпорировать оценки (это происходит при отборе материала, выборе проблем и в ходе интерпретации), при этом они как бы десубъективируются. Превращение объекта управления – экономики – в полностью вычислимый и моделирование всех взаимодействий внутри него для получения дальнейших выводов о нем создает “технологии дистанцированияˮ [Porter 1995]. Это придает получаемым результатам и делающимся на этом основании выводам объективность, а в то же время, позволяют снимать ответственность, ибо “так показывает модельˮ.
45 Третий важный вывод: “эффективная теорияˮ в рамках системы управления подразумевает прежде всего превращение объекта в наблюдаемый, прозрачный, контролируемый, управляемый. Это означает построение модели объекта управления, которая будет с неизбежностью упрощенной и единообразной. Как отмечает Дж. Скотт, представители государства никак не заинтересованы в описании целостной социальной действительности, их абстракции и упрощения направлены на небольшое число целей, то есть они нуждаются только в таких методах и в таком понимании, которые соответствовали бы их задачам [Scott 1998]. И тем не менее, даже такое упрощенное представление подразумевает создание модели реального объекта. Иными словами, модель функциональна, структурна и частично совпадает с объектом (модель чего-то). Однако трансформация экономической науки в транс-эпистемическую сферу и воспроизводство экономического знания в основном за пределами собственно научных институтов, тогда как академическая сфера выступает лишь как средство придания/удостоверения “научного качестваˮ (за счет разнообразного инструментария и техник), означает, что наука больше не вырабатывает объективное представление об экономической реальности (оно попросту не востребовано). Эта функция (вместе с мировоззренческой функцией науки вообще) переходит к другим сферам: СМИ и политике1. Именно там формируется картина “экономическогоˮ и соответствующие дискурсы, способы говорить/мыслить “экономическоеˮ, в которые включаются ученые. При этом собственно “экономикаˮ больше не имеет значения, значение имеет экономизация любого фрагмента социальной действительности, любого поведения (даже животных), о котором идет речь, то есть представление, ре-артикуляция их как “экономическогоˮ (в том числе с помощью инструментов и “техникˮ науки).
1. В ситуации постоянного генерирования огромных объемов информации и перепроизводства знания существенным становится не само знание, а субъект, обладающий определенным статусом и репутацией, которую он сообщает транслируемой им позиции, а также способы получения и представления знания/информации/позиции, которые могут сообщать ему особую ценность (или иные “эпистемические добродетелиˮ и качества).
46 Отсюда закономерно вытекает четвертый важный вывод – замещение теорий (как отмечалось выше, они становятся не нужны и приравниваются к моделям) дискурсивными практиками, которые формируются на границе между академическим миром, массмедиа, политической сферой и бизнесом и постоянная их ре-артикуляция в рамках взаимодействия этих сфер. Важное отличие научной теории от дискурса – наличие в ней гипотез, которые можно и нужно опровергать или доказывать, а также то, что в ней не может существовать противоречащих утверждений: это будет разрушать теорию. Однако в дискурсе данные проблемы принципиально снимаются. Он может успешно воспроизводить и транслировать определенные нарративы (истории), ведь дискурсивные структуры нормативны и ценностны (а ценность – это желание должного, “как должно бытьˮ). В отличие от теории дискурс может обеспечить связность самых разнородных и даже противоречащих компонентов знания, информацию и практики из различных сфер, за счет чего создает условия для эффективной коммуникации по теме “экономическогоˮ внутри и вне сообщества [Dijk 2009].
47 В транс-эпистемическом поле, в рамках которого производится экономическое знание, за формирование дискурса отвечают эксперты, связанные с различными институтами власти и бизнеса, аналитическими центрами, международными площадками. СМИ выступают ретранслятором и средством распространения соответствующего дискурса, тогда как задача науки в данной ситуации – придавать ему академическую респектабельность (“онаучиватьˮ и делать предметом исследования). Это хорошо видно на примере инновационной экономики, иллюстрацией могут служить созданные за пределами науки и активно продвигаемые институциональными лоббистами и экспертами дискурсы “цифровой экономикиˮ и “четвертой промышленной революцииˮ [Кошовец, Ганичев 2018] или на примере создания дисциплины European studies, основной целью которой является исследование (а в реальности конструирование) общеевропейской идентичности [Shore 2000].
48 Экономическое знание как особая транс-эпистемическая область в рамках процесса замещения теории дискурсом все больше превращается в “нормативный метадискурсˮ. Своей задачей он видит формирование “гомогенного порядка представленияˮ, преобразование фрагментарных и рассеянных практик производства знания в универсальные когнитивные схематизмы, наделяемые статусом универсальности, необходимости и общезначимости [Fourcade 2006; Maesse 2013]. Как отмечает М. Фуркад, “существует довольно много данных, свидетельствующих о том, что, несмотря на глубокие политические разногласия, экономисты обычно мыслят в более единообразном контексте и в рамках более унифицированной парадигмы, нежели другие обществоведы. Например, подавляющее большинство экономистов согласны с базовым набором принципов и инструментов, структурирующих магистерские и аспирантские образовательные программы. Кроме того, они в гораздо большей степени, чем в других социальных науках, опираются на учебники, в том числе и на уровне магистратуры и аспирантуры”. Она также отмечает, что “в ходе опроса, проведенного в 1990 г., выяснилось, что во всех аспирантских программах по экономической науке образование поразительно схоже” [Fourcade, Ollion, Algan 2015, p. 96].
49 В рамках такого “нормативного метадискурса” формируются соответствующие нарративные структуры, которые становятся “шаблонами для понимания и интерпретации мираˮ. Родрик характеризует функцию моделей схожим образом – усваивать соответствующее мышление. Я бы сказала по-другому: усваивать определенное представление об “экономическомˮ, которое превращается в систему убеждений/средство интерпретации за счет квазиобъективного характера знания, которое обеспечивают формальные технические и инструментально-репрезентационные средства. При этом неверность одних моделей никак не будет дискредитировать эти шаблоны: ведь в рамках “плюрализма моделейˮ любая из них имеет значение и подходит для какой-то ситуации. Это позволяет им развиваться экстенсивно, горизонтально – и потому что нужно создавать больше моделей, и потому что сами они призваны экономизировать любой возможный объект исследования, представить его “экономическимˮ2.
2. Речь идет как о рационализации (экономическое это и есть рациональное), поэтому можно изучать деятельность нейронов в рамках принятия решений на основе экономических моделей [Koshovets, Varkhotov 2019], так и об утилитаризации. В утилитаристском рассуждении понятие “природаˮ замещается термином “природные ресурсыˮ, который фокусируется только на тех аспектах природы, которые могут быть приспособлены для хозяйственного/экономического использования.

Библиография

1. Капелюшников Р.И. (2018) О современном состоянии экономической науки: полусоциологические наблюдения // Куда движется современная экономическая наука? М.: Институт экономики РАН. С. 8–33.

2. Кошовец О.Б. (2008) Эксперт и воспроизводство научного знания // Экономика как искусство: методологические вопросы применения экономической теории в прикладных социально-экономических исследованиях. М.: Наука. С. 210–249.

3. Кошовец О.Б., Ганичев Н.А. (2018) Глобальная цифровая трансформация и ее цели: декларации, реальность и новый механизм роста // Экономическая наука современной России. № 4. С. 126–144.

4. Кошовец О.Б., Ореховский П.А. (2018) Дискурс “экономикиˮ против дискурса “экономической системыˮ: от осмысления реальности к производству смыслов // Общественные науки и современность. № 6. С. 133–148.

5. Angrist J.D., Pischke J.-S. (2010) The Credibility Revolution in Empirical Economics: How Better Research Design is Taking the Con out of Econometrics // Journal of Economic Perspectives. Vol. 24. No. 2. Pp. 3–30.

6. Aydinonat N.E. (2018) The diversity of models as a means to better explanations in economics // Journal of Economic Methodology. Vol. 25. Pp. 237–251.

7. Boettke P.J., Leeson P.T., Smith D.J. (2008) The Evolution of Economics: Where We are and How We Got Here // The Long Term View. Vol. 7. No.1. Pp. 14–22.

8. Bourdieu P. (1989) Distinction. A social critique of the judgement of taste. London: Routledge.

9. Coase R.H. (1994) Essays on Economics and Economists. Chicago: Univ. of Chicago Press.

10. Colander D. (2017) Economists should stop doing it with models (and start doing it with heuristics) // Eastern Economic Journal. Vol. 43. No. 4. Pp. 729–733.

11. Colander D. (2005) The making of an economist redux // Journal of Economic Perspectives. Vol. 19. No. 1. Pp. 175–198.

12. Dijk T.A. van (2008) Discourse and Power. Contributions to Critical Discourse Studies. Houndsmills: Palgrave MacMillan.

13. Donato-Rodrıguez X., Zamora-Bonilla J. (2009) Credibility, Idealisation, and Model Building: An Inferential Approach // Erkenntnis. Vol. 70. No. 1. Pp. 101–118.

14. Duvendack M., Pamer-Jones R., Reed W.R. (2017) What Is Meant by Replication and Why Does It Encounter Resistance in Economics? // American Economic Review. Vol. 107. No. 5. Pp. 46–51.

15. Einav L., Levin J. (2014) Economics in the age of big data // Science. Vol. 346. Issue 6210. P. 1243089. DOI:10.1126/science.1243089.

16. Fourcade M. (2006) The construction of a global profession: The transnationalization of economics // American Journal of Sociology. Vol. 112. No. 1. Pp. 145–194.

17. Fourcade M., Ollion E., Algan Y. (2015) The Superiority of Economists // Journal of Economic Perspectives. Vol. 29. No. 1. Pp. 89–114.

18. Friedman M. (1970) Essays in Positive Economics. Chicago: Univ. of Chicago Press.

19. Gilboa I., Postlewaite A., Samuelson L., Schmeidler D. (2014) Economic Models as Analogies // The Economic Journal. Vol. 124. No.578. Pp. F513–F533.

20. Grüne-Yanoff T., Marchionni C. (2018) Modeling model selection in model pluralism // Journal of Economic Methodology. No. 25. Pp. 265–275.

21. Hutchison T. (1998) Ultra-deductivism from Nassau Senior to Lionel Robbins and Daniel Hausman // Journal of Economic Methodology. Vol. 5. No. 1. Pp. 43–91.

22. Koshovets O., Varkhotov T. (2019) Neuroeconomics: New Heart for Economics or New Face of Economic Imperialism // Journal for Institutional Studies. Vol. 11. No. 1. Pp. 6–19.

23. Kuorikoski J., Lehtinen A. (2018) Model selection in macroeconomics: DSGE and ad hocness // Journal of Economic Methodology. No. 25. Pp. 252–264.

24. Leamer E. (2012) The Craft of Economics. Ann Arbor: MIT Press.

25. Lucas R. (2011) What economists do // Journal of Applied Economics. Vol. 14. Pp. 1–4.

26. Maesse J. (2016) The power of myth. The dialectics between ‘elitism’and ‘academism’ in economic expert discourse // European Journal of Cross-Cultural Competence and Management. Vol. 4. No. 1. Pp. 3–20.

27. Maesse J. (2013) Spectral performativity. How economic expert discourse constructs economic worlds // Economic Sociology. The European Electronic Newsletter. Vol. 14. No. 2. Pp. 25–31.

28. McLure M. (2001) Pareto, economics and society: the mechanical analogy. London: Routledge.

29. Morgan M.S. (2014) What if? Models, fact and fiction in economics // Journal of the British Academy. No. 2. Pp. 231–268.

30. Porter T.M. (1995) Trust in Numbers. The Pursuit of Objectivity in Science and Public Life. Princeton: Princeton Univ. Press.

31. Rodrik D. (2015) Economic Rules: The Rights and Wrongs of the Dismal Science. New York: W.W. Norton.

32. Rosenberg A. (1992) Economics: Mathematical Politics or Science of Diminishing Returns? Chicago: Univ. of Chicago Press.

33. Ross D. (2018) Economics and allegations of scientism // Science Unlimited? Univ. of Chicago Press. Pp. 225–245.

34. Ross D., Kincaid H. (2009) Introduction: The New Philosophy of Economics // The Oxford handbook of philosophy of economics. Oxford: Oxford Univ. Press. Pp. 3–32.

35. Rubinstein A. (2006) Dilemmas of an Economic Theorist // Econometrica. Vol. 74. No. 4. Pp. 865–883.

36. Samuels W.J. (1991) “Truthˮ and “Discourseˮ in the Social Construction of Economic Reality // Journal of Post Keynesian Economics. Vol. 13. No. 4. Pp. 511–524.

37. Scott J.C. (1998) Seeing Like a State: How Certain Schemes to Improve the Human Condition Have Failed. New Haven, London: Yale Univ. Press.

38. Shore C. (2000) Building Europe. The Cultural Politics of European Integration. London; New York: Routledge.

39. Stock W.A., Siegfried J.J. (2014) Fifteen Years of Research on Graduate Education in Economics: What Have we Learned? // The Journal of Economic Education. Vol. 45. No. 4. Pp. 287–303.

40. Sugden R. (2009) Credible Worlds, Capacities, and Mechanisms // Erkenntnis. Vol. 70. No. 1. Pp. 3–27.

41. Vroey M. De, Pensieroso L. (2016) The Rise of a Mainstream in Economics // Université Catholique de Louvain. IRES Discussion Paper. No. 26.

42. Whaples R. (2009) The policy views of American economic association members: The results of a new survey // Economic Journal Watch. Vol. 6. No. 3. Pp. 337–348.

Комментарии

Сообщения не найдены

Написать отзыв
Перевести