Статья 'Опыт компьютеризованного контент-анализа статей журнала «Вестник финансов, промышленности и торговли» за 1917 г.' - журнал 'Историческая информатика' - NotaBene.ru
по
Меню журнала
> Архив номеров > Рубрики > О журнале > Авторы > О журнале > Требования к статьям > Порядок рецензирования статей > Ретракция статей > Этические принципы > Политика открытого доступа > Оплата за публикации в открытом доступе > Online First Pre-Publication > Политика авторских прав и лицензий > Политика цифрового хранения публикации > Политика идентификации статей > Политика проверки на плагиат > Редакция > Редакционный совет
Журналы индексируются
Реквизиты журнала

ГЛАВНАЯ > Вернуться к содержанию
Историческая информатика
Правильная ссылка на статью:

Опыт компьютеризованного контент-анализа статей журнала «Вестник финансов, промышленности и торговли» за 1917 г.

Воронкова Дарья Сергеевна

аспирант, кафедра исторической информатики, МГУ имени М.В.Ломоносова

119192, Россия, г. Москва, ул. Ломоносовский Просп., 27 корп.4, каб. Г-432

Voronkova Daria Sergeevna

PhD Candidate, Section of Historical Informatics, History Department, Lomonosov Moscow State University

119192, Russia, g. Moscow, ul. Lomonosovskii Prosp., 27 korp.4, kab. G-432

dasevo@yandex.ru
Другие публикации этого автора
 

 

DOI:

10.7256/2585-7797.2023.3.43663

EDN:

XELKNL

Дата направления статьи в редакцию:

29-07-2023


Дата публикации:

12-10-2023


Аннотация: Предметом исследования являются материалы статей журнала «Вестник финансов, промышленности и торговли» за 1917 г. – ведущего печатного органа Министерства финансов. Методической основой статьи стал компьютеризованный контент-анализ, позволивший полнее раскрыть информационный потенциал источника. Особое внимание уделяется построению на основе частотного словаря репрезентативной системы семантических категорий и индикаторов, которая выявила тематические приоритеты и смысловые акценты во всём массиве номеров «Вестника…» в указанном году. Проведён анализ частот встречаемости созданных категорий (в т. ч. совместной) в динамике по кварталам. Взаимосвязи категорий делают возможными выводы по аргументации авторов статей журнала. Материалы «Вестника…» и ранее привлекали внимание учёных, но лишь теперь, с помощью компьютеризованного контент-анализа, введён в научный оборот скрытый пласт содержащейся в нём информации, в чём и состоит научная новизна работы. Контент-анализ показал, что журнал «Вестник финансов, промышленности и торговли» отражал сложившуюся в экономике в переломном 1917 г. ситуацию и процессы в социально-политической сфере в стране и за рубежом, разворачивавшиеся на фоне продолжавшейся Первой мировой войны. Главным ядром выстроенной системы семантических категорий оказались финансовые вопросы в тесной связи с промышленной, торговой и налоговой сферами, а также обусловленные войной и нараставшие в экономике и обществе проблемы.


Ключевые слова:

Вестник финансов, экономические процессы, СМИ, контент-анализ, семантические категории, динамика, MAXQDA, официальный печатный орган, Февральская революция, история России

Abstract: The subject of the research is the materials of articles of the journal "Bulletin of Finance, Industry and Trade" for 1917 – the leading printing body of the Ministry of Finance. The methodological basis of the article was a computerized content analysis, which made it possible to fully reveal the information potential of the source. Special attention is paid to the construction of a representative system of semantic categories and indicators based on the frequency dictionary, which revealed thematic priorities and semantic accents in the entire array of issues of the "Bulletin ..." in the specified year. The analysis of the frequency of occurrence of the created categories (including joint ones) in dynamics by quarters is carried out. The interrelationships of the categories make possible conclusions based on the argumentation of the authors of the journal articles.   The materials of Vestnik ... have previously attracted the attention of scientists, but only now, with the help of computerized content analysis, a hidden layer of information contained in it has been introduced into scientific circulation, which is the scientific novelty of the work. The content analysis showed that the journal "Bulletin of Finance, Industry and Trade" reflected the situation and processes in the socio-political sphere in the country and abroad that developed in the economy at the turning point of 1917, unfolding against the background of the ongoing First World War. The main core of the constructed system of semantic categories turned out to be financial issues in close connection with the industrial, trade and tax spheres, as well as problems caused by the war and growing in the economy and society.


Keywords:

Bulletin of Finance, economic processes, Media, content analysis, semantic categories, dynamics, MAXQDA, official press organ, February Revolution, history of Russia

Статья посвящена результатам компьютеризованного контент-анализа статей журнала «Вестник финансов, промышленности и торговли» за 1917 г. Журнал представляет собой во многом незаменимый источник сведений экономического характера, в том числе в сфере государственной финансовой политики, международной торговли, налогообложения и др.

В революционном 1917 году на страницах журнала отражались экономические процессы, происходившие в России на фоне продолжающейся мировой войны.

Контент-анализ является вполне сложившимся и одновременно перспективным методом исторических исследований (в том числе периодическая печать изучается с его помощью давно и плодотворно) [1]. Однако названный журнал ранее не становился объектом контент-анализа. В то же время он привлекал внимание историков, есть и новые работы, в которых он является источниковой базой [2; 3; 4; 5; 6; 7].

«Вестник...» как источник

Одной из определяющих источниковедческих характеристик упомянутого журнала является его официальный статус как печатного органа Министерства финансов. К 1917 г. он издавался 32 года (с 1885 г., а до этого существовал прямой предшественник – «Указатель правительственных распоряжений по Министерству финансов», публиковавшийся в 1865-1884 гг.). В некоторых источниках годом начала издания «Вестника» указывается 1883 г. Возможно, разночтения связаны с тем, что в 1885 г. журнал был реорганизован. Редакция получила хотя бы формальную независимость, выделившись из штата сотрудников министерства финансов, и свой бюджет. Такие перемены столь важны, что иногда 1885 г. принимается за год основания журнала. Впрочем, в процессе реорганизации не сменился даже главный редактор – и в «Указателе...», и в «Вестнике...» эту должность занимал А. К. Веселовский. Позволим себе остановиться на 1884 г. как компромиссной дате начала издания «Вестника…». В пользу этой версии есть ряд обоснований, в том числе, статьи в «Энциклопедическом словаре Брокгауза и Ефрона» (https://www.booksite.ru/fulltext/1/001/007/020/20375.htm; https://www.booksite.ru/fulltext/1/001/007/104/104187.htm; https://www.booksite.ru/fulltext/1/001/007/020/20375.htm), а также библиографические описания журнала в РНБ (https://www.booksite.ru/fulltext/1/001/007/020/20375.htm – Нам кажется, здесь, за исключением первой строки, в которой «Вестник…» датируется с 1865 г., правильно описано соотношение «Указателя…» и «Вестника…») и в НЭБ (https://www.booksite.ru/fulltext/1/001/007/020/20375.htm). Примечательно, что в «белом» Омске была предпринята кратковременная попытка «реанимировать» «Вестник…», издавая его раз в две недели. Об этом, в частности, свидетельствует один из сохранившихся апрельских номеров «Вестника…» за 1919 г. с указанием: «Журнал издаётся Министерством финансов Российского Правительства». (https://www.booksite.ru/fulltext/1/001/007/020/20375.htm).

Инициатором же издания нового журнала изначально был министр финансов Н. Х. Бунге, а фактически это мероприятие санкционировал сам император Александр III. Ст. 10 «Правил об обложении торговых и промышленных предприятий дополнительным сбором (процентным и раскладочным)», утверждённых 15 января 1885 г., регламентирует порядок публикации в «Вестнике...» извлечений из протоколов общих собраний акционерных обществ и товариществ, а также балансов и годовых отчётов таких объединений [8]. Опубликование носило обязательный характер, к тому же было платным. Издание «Вестника…» стало логичным продолжением налоговых реформ 1880-х гг. Будучи рупором правительственной политики, «Вестник...» предоставлял аудитории тщательно отобранные редакцией материалы (среди авторов немало, в частности, ведущих экономистов своего времени).

На сайте издательского дома «Бюджет» обстоятельствам появления «Вестника…» уделяется довольно большое внимание: «...был создан новый журнал, который стал именоваться «Вестником финансов, промышленности и торговли». <...> Широкое использование телеграфной связи привело в 1894 году к образованию в редакции «Вестника» специального телеграфного отдела. Качество работы, точность и своевременность поступления коммерческих и иных телеграмм вызвали постоянно растущий спрос на услуги отдела со стороны других периодических изданий и частных лиц. Ведь хотя в то время уже существовало «Русское телеграфное агентство», оно не занималось коммерческой информацией. В этих условиях телеграфный отдел, постоянно развиваясь, в 1902 году был преобразован в отдельное учреждение – «Торгово-телеграфное агентство». Ведение дела и руководство агентством продолжала осуществлять команда редакции «Вестника», а её редактор был назначен директором этой организации. Качество работы агентства было замечено прессой. И вскоре многие периодические издания перешли к нему на информационное обслуживание. Иностранные телеграфные агентства заключали с ним соглашения об обмене телеграммами. В 1904 году было принято решение о преобразовании «Торгово-телеграфного агентства» в «Санкт-Петербургское телеграфное агентство». [9]. Таким образом, редакция «Вестника...» строила свою работу на передовых для своего времени принципах и технологиях, способствовала развитию телеграфной сети и дала начало изданию целого ряда печатных СМИ, таких как «Торгово-промышленная газета» и «Русское экономическое обозрение».

В конце квартала публиковался «Систематический перечень статей», но в 1917 г. их вышло только два – для первого и второго кварталов.

Методика исследования

Как уже отмечалось выше, контент-анализ успешно применяется в качестве метода анализа текстовых источников и, в частности, исторической прессы.

Программным обеспечением, позволившим осуществить компьютеризованный контент-анализ материалов массива статей из номеров «Вестника...» 1917 года, стала программа MAXQDA [10]. В работе использована версия MAXQDA – MAXQDA 2022.

Разработка системы категорий и анализ частот их встречаемости

После неоднократного прочтения статей журнала, преобразования исходного файла в распознанный электронный текст и импорта этого текста в программу MAXQDA создан частотный словарь в модуле MAXDictio. На основе наиболее часто встречающихся слов были определены индикаторы, которые были укрупнены в систему категорий. Затем текст проиндексирован с использованием опции автокодирования со словарём. Индексирование в контент-анализе – это разметка в тексте сегментов, где встречаются индикаторы соответствующих категорий. Индексирование базировалось на индикаторах, для которых задавались только корневые основы слов. Всего сконструировано 14 категорий (все они, за исключением категории «страны», одноуровневые, а последняя включает противоборствующие и нейтральные государства, причём состав соответствующих блоков формировался с учётом реалий 1917 г., поэтому, например, Италия оказалась на стороне Антанты). В ряде статей автора выделены наиболее важные для журнала проблемы и проанализирована их тематика [11; 12; 13].

Результаты представлены в виде следующей таблицы (табл. 1):

Таблица 1. Смысловые категории текстов и слова-индикаторы

Название категории

Индикаторы

финансы

финанс, ценност, цена, цен, банк, денеж, денег, деньги, банкир, баланс, банкнот, золот, серебр, валют, вклад, капитал, казначей, сумм, бюджет, выкуп, чек, кредит, ипоте, ссуд, залог, залож, займ, заем, облигац, купон

торговля

торгов, экспорт, импорт, товар, пошлин, тамож, ввоз, привоз, вывоз

промышленность

промышлен, завод, производств, предприяти, фабрик, фабричн, индустр, нефт, шахт, сахар, сталь, литейн, синдикат, целлюлоз, деревообр, хим, машин, ткац, кожев, уголь, кустар, трест, мануфактур, угле, добывающ

война

арми, аэроплан, блокад, бомб, брани, Брусилов, воен, воин, войн, войск, враг, вражд, вражеск, герое, герои, демобилизац, добровольц, захваченн, конфликта, мобилизац, мобилизов, оруди, оруж, боев, гранат, офицер, пайк, патриот, патрон, побед, побежд, ружей, пуше, солдат, союзн, стрел, ранен, боеспособн, вооруж, воюющ, госпитал, неприятел, окоп, пушк, фронт, дирижабл, авиа

политическая сфера

министр, министер, император, высочайш, революц, правительств, депутат, самодерж, Учредительн, государств

социально-экономическая сфера

забастов, стачк, стачек, демонстрац, стачеч, бастующ, хлеб, разрух, безраб, труд, снабжен, продовольств, кризис, секвест, квартир, жилищ, рождаемост, смертност, населен, заработ, инспек, беженц, инвалид, зарплат, карточ

налоги

налог, акциз, сбор, обложен, тариф

правовое поле

право, закон, парламент, реформ, права, поправк, поправок, праву, кодификац

сельское хозяйство

сельскохоз, зерн, паш, пшени, ячмен, хлопч, хлопк, хлопок, свекл, животновод, рыб, лес, угоди, земледел, скот, плуг, луг, пастбищ

акционерное дело

акций, акции, акцию, акция, акцион, бирж, бумаг, вексел, валют

транспорт

транспорт, корабл, пароход, вагон, судн, судов, железнодор, дорог, дорога, дороге, дороги, перевоз, груз, пассажир, мореход, каботаж, поезд

почта и телеграф

телеграф, телеграм, такс, спешн, корреспонденц, письма, писем, бандерол, посылок, пересылк

переселенческая политика

колониз, переселен, колонист, аграрн

страны

Антанта и союзники

Англ, Франц, Япон, Штат, Бразил, Итал, Инди, Серб, Грец, Румын, Австрал

Тройственный союз и др.

Герм, Австр, венгер, Болгар

нейтральные

Швец, Швед, Перс, Аргентин, Швейцар, Голланд, Нидерланд

Единицей счёта является предложение, а единицей анализа - выявленная категория. Для журнала в целом составлены таблицы частот слов (не несущие смысловой нагрузки слова исключены с помощью стоп-листа – списка служебных слов, не подвергающихся анализу).

В MAXQDA есть возможность составить облако слов (визуализацию частотного словаря), но более информативным для нас будет облако кодов-категорий (рис. 1).

Рис. 1. Облако кодов

Видно, что самая встречаемая категория – «финансы», затем идут «торговля», «промышленность», «война» и «политическая сфера». Это подтверждается и в динамике, если представить категории по частоте встречаемости для каждого квартала 1917 г. и отобразить результат в виде т.н. тепловой карты (при таком графическом представлении самые тёплые оттенки соответствуют наиболее часто встречающимся категориям, а чем меньше частоты, тем холоднее цвет; рис. 2):

Рис. 2. Тепловая карта частот встречаемости категорий

Анализ именно поквартальных показателей выбран по двум причинам. Во-первых, если не объединить 43 номера «Вестника...» в какие-либо группы, итоговые таблицы будут слишком громоздки и трудны для понимания. Во-вторых, если номера будут объединены помесячно, возникнет вопрос со сдвоенным номером 19-20: он датирован 14 (27) мая и 21 мая (3 июня) 1917 г., а значит, будучи единым, формально должен был бы попасть в разные месяцы, а разделять его материалы невозможно и неверно. Таким образом, единственный вариант – объединить номера в группы документов по кварталам. Первый квартал – номера включительно с 1 по 13-14 (сдвоенный), второй – с 15 по 26, третий – с 27 по 38 и четвёртый (неполный) – номера 39-43. Мы видим, что категория «финансы» возглавляет список на протяжении всего года. Категория «торговля» находится в числе главных в течение трёх кварталов, и только в четвёртом интерес к ней заметно падает, уступая второе место категории «война». Для первого квартала тройку категорий замыкает «промышленность», во втором – «торговля», в третьем – «политическая сфера» («промышленность» при этом выходит на второе место), а в четвёртом, последнем, в котором издание журнала прекратилось, третье место с политической сферой делит категория «война». Несмотря на такой широкий спектр обсуждаемых на страницах журнала вопросов, можно обрисовать нечто общее в том, почему именно они пользовались таким вниманием. На наш взгляд, объединяющим фактором является поиск дополнительных источников дохода государства, путей решения проблем снабжения населения, выхода из постепенно обострявшегося транспортного и топливного кризиса и анализ зарубежного опыта в этих областях.

Чтобы ещё точнее выделить главные категории и работать в дальнейшем с ними, мы использовали полезный инструмент MAXQDA – «покрытие кода». Этот показатель по группам документов (соответствующим четырём кварталам 1917 г.) составил 87,6-91,7 %. Столь высокие значения свидетельствуют о полноте всех этапов кодирования исходных текстовых данных. Посмотрим на распределение частот встречаемости категорий при условии округления значений до десятых (выбрана настройка «процент общего текста», рис. 3).

Рис. 3. Частоты встречаемости категорий подсчитаны с использованием функции «покрытие кода»

Итак, можно составить следующий список наиболее встречаемых категорий за 1917 г. в целом:

· «финансы» (46,5 %);

· «промышленность» (19,6 %);

· «торговля» (19,1 %);

· «политическая сфера» (18,0 %);

· «война» (17,0 %);

· «социально-экономическая сфера» (14,6 %);

· «налоги» (11,8 %);

· «правовое поле» (11,2 %).

Именно для них мы вычислим и визуализируем частоты совместной встречаемости ниже.

Анализ частот совместной встречаемости категорий

Для визуализации частот совместной встречаемости категорий хорошо подходит модуль MAXMaps, позволяющий строить информативные графы. Нас интересуют близость кодов (пользователь сам может задать необходимое расстояние для текста документа – например, фиксируемые коды могут находиться в соседних или в одном-двух абзацах друг от друга) и пересечение кодов в закодированных сегментах. В построенном графе по близости категорий задано максимальное расстояние между кодами в один абзац. Результат представлен на рис. 4. Жирность линий – показатель высоких частот совместной встречаемости категорий, сами частоты указаны на этих линиях. Ядро графа составляют те категории, между которыми самые сильные связи.

Рис. 4. Граф частот совместной встречаемости категорий по их близости

Все основные категории, показанные на графе, ближе всего к категории «финансы». Парные значения следующие:

· «финансы» - «политическая сфера»: 6803;

· «финансы» - «война»: 6152;

· «финансы» - торговля»: 5993;

· «финансы» - «промышленность»: 5938;

· «финансы» - «социально-экономическая сфера»: 4781;

· «финансы» - «правовое поле»: 4662;

· «финансы» - «налоги»: 3475.

Кроме того, обращает на себя внимание сильная связь категорий «торговля» и «промышленность» (4136). Таким образом, финансовые вопросы чётко составляют ядро всего содержания «Вестника…». Наиболее сильно они связаны с политической сферой, а также категориями «война», «торговля» и «промышленность», при этом две последние ожидаемо взаимно близки. MAXQDA помогает выявить эти скрытые взаимосвязи. Остановимся на структуре категорий подробнее, анализируя каждый из следующих графов на рис. 5-12 (эти графы построены по признаку пересечения категорий; чтобы не перегружать изображения, показаны по 10 категорий, пересекающихся с центральной).

Рис. 5. Граф частот совместной встречаемости для категории «финансы»

Финансы для авторов «Вестника...» – главным образом, вопросы денежного и чекового обращения, бюджета, Государственного банка, валютного рынка и т.д. Этим объясняется превалирование связей с категориями «политическая сфера», «торговля», «война», «промышленность». Вот что пишет Б. Ремез о причинах подготовки денежной реформы: «В переживаемую войну, как и в предшествовавшие исторические эпохи потрясений денежной системы, появилось уже довольно много статей, посвящённых вопросу о предстоящей денежной реформе. Оригинальная черта современных проектов заключается в том, что они по большей части направлены не на возвращение к металлическому обращению, а на упорядочение существующего бумажно-денежного хозяйства» [14]. Военное время накладывало отпечаток и на финансовую сферу. А. Н. Гурьев по этому поводу замечает: «Современная война, со всем сложнейшим комплексом порождённых ею явлений, уже аттестована всем миром в качестве невиданной, неслыханной, без всяких прецедентов в истории. В соответствии с такою аттестацией, подвергнуты решительному пересмотру все прежние взгляды, покоившиеся на исторических прецедентах. Только в одной области до сих пор царит у нас исторический трафарет. Область эта – бумажно-денежное хозяйство, порождённое войной» [15].

Рис. 6. Граф частот совместной встречаемости для категории «торговля»

На рис. 6 видно, что наиболее сильна связь категории «торговля» с категорией «финансы». Заметны также связи с категориями «промышленность», «Антанта и союзники», «война» и «налоги». Две последние в этом контексте также не странны: речь идёт о том, что, с одной стороны, военные расходы необходимо восполнять поступлениями от торговли, а с другой, вопрос «откуда взять дополнительные средства?» авторы «Вестника...» пытаются решать «на стыке» торговой и налоговой сферы.

Рис. 7. Граф частот совместной встречаемости для категории «промышленность»

Категория «промышленность» (рис. 7) тесно связана с категориями «финансы», «торговля», «война», несколько слабее – с социально-экономической и политической сферами. В целом это весь комплекс важнейших вопросов, пристальнее всего рассматриваемых на страницах журнала.

Рис. 8. Граф частот совместной встречаемости для категории «война»

В случае с частотами совместной встречаемости категории «война» с другими основными категориями (рис. 8) можно заметить неочевидный результат. Связь с категорией «финансы» и здесь самая сильная (война всегда обходится дорого!), затем с большим отрывом следуют категории «промышленность», «политическая сфера», «торговля». А вот связи с подкатегориями стран (которые, напомним, разделены на три блока), хотя и вполне естественно выдвигают на первый план из них Антанту и союзников, всё же не столь сильны, как можно было бы ожидать. Этот результат выявляет скрытую информацию, которую трудно получить традиционными методами.

Необходимо отметить, что, несмотря на сказанное выше, опыт союзников достаточно подробно освещался в журнале. Например, в 43 номере «Вестника…», ставшем последним, есть и размышления о возможных мерах восстановления промышленного потенциала после войны. Статью «Строительство будущей экономической жизни в Великобритании» её автор С. И. Рапопорт заканчивает так: «Но, конечно, синдицирование промышленности еще не решает всей сложности вопросов, которые возникнут с демобилизацией и с возвращением к мирной трудовой жизни. Эти вопросы занимают не одно правительство. Ими озабочены все круги общества, и в ближайших своих статьях я постараюсь дать очерк тех взглядов и мер, которые выдвигаются разными выдающимися деятелями для разрешения их» [16]. Волею судьбы эта статья оказалась последней для всего «Вестника...».

Рис. 9. Граф частот совместной встречаемости для категории «политическая сфера»

Рис. 10. Граф частот совместной встречаемости для категории «социально-экономическая сфера»

Категории «политическая сфера» и «финансы» связаны теснейшим образом. «Война» занимает третье место, отставая почти в 2,5 раза, а «промышленность» и «социально-экономическая сфера» ещё более уступают. Что интересно: «торговля» и «правовое поле» демонстрируют меньшие, но почти одинаковые между собой частоты совместной встречаемости с центральной на рис. 9 категорией. По силе связи с категорией «социально-экономическая сфера» (рис. 10) вновь далеко впереди остальных «финансы», второе место занимает «промышленность», а «война» и «политическая сфера» делят третье. Финансовые проблемы и здесь наиболее актуальны.

Рис. 11. Граф частот совместной встречаемости для категории «налоги»

В категорию «налоги» включены соответствующие вопросы отечественной и зарубежной практики налогообложения, а также истории формирования и перспектив таможенных пошлин. Важна статья о планировании налоговой реформы. В самом её начале говорится: «В настоящее время быстрыми шагами идёт переложение центра тяжести в обложении с косвенных налогов на прямые. Значение прямых налогов всё увеличивается, и вместе с тем растёт ответственность податных инспекторов. Уже введено много новых прямых налогов, и в ближайшее время предполагается введение ещё нескольких новых» [17]. Наиболее высока частота совместной встречаемости с категорией «финансы», затем идут «торговля», «политическая сфера» и «промышленность», причём «война» не столь заметна.

Реформы назрели и в сфере распределения доходов городов. Вот что пишет И.М. Кулишер: «Временным Правительством утверждён новый закон о городских финансах. Произведена реформа, о которой говорили в течение ряда лет, которая вызывается настоятельными потребностями органов городского самоуправления» [18].

Рис. 12. Граф частот совместной встречаемости для категории «правовое поле»

И, наконец, категория «правовое поле». На графе на рис. 12 на первом месте, как и для остальных категорий, связь «правового поля» с «финансами».

«Политическая сфера» намного уступает, «промышленность», «торговля», «социально-экономическая сфера» показывают частоты ещё меньше. «Война» менее заметна, чем даже «Антанта и союзники». Почему? Ответ – в самой структуре категории «правовое поле»: важнее в ней не чрезвычайные законы и законопроекты, вызванные военными условиями, а, например, опыт кодификации права во Франции и Англии. Вот цитата из статьи Л. С. Элияссона «Вопросы кодификации чекового права»: «Полное совпадение между законом и жизнью можно констатировать в Англии и, пожалуй, во Франции. В первой, где чек достиг наибольшего распространения, где популярность банкового депозита дошла до пределов возможного, и закон считается с чеком исключительно как способом расчёта. Но и во Франции чековый закон вполне удовлетворяет потребности той среды, для которой он предназначен, а именно наиболее культурной части торгового класса. Распространять же чек до народных низин, по-видимому, никогда не преследовалось банковой политикой во Франции» [19].

Анализ категории «страны»

Мы построили несколько круговых диаграмм, дающих представление о доле упоминаний стран в основных смысловых категориях (рис. 13-18):

Рис. 13. Доли упоминаний стран в категории «финансы»

Рис. 14. Доли упоминаний стран в категории «торговля»

Рис. 15. Доли упоминаний стран в категории «промышленность»

Рис. 16. Доли упоминаний стран в категории «война»

Рис. 17. Доли упоминаний стран в категории «политическая сфера»

Рис. 18. Доли упоминаний стран в категории «социально-экономическая сфера»

В каждой из категорий, структура которых представлена на диаграммах, ожидаемо преобладают упоминания Антанты и союзников. Но всё же можно отметить и некоторые другие особенности. Так, внутри категории «торговля» заметную долю имеют нейтральные страны (16,84 %). Это неудивительно, ведь в условиях военных действий во многом именно внешнеторговый товарооборот с ними позволял находить новые источники финансирования других сфер экономики. В то же время, в условиях, когда становились востребованными любые поиски новых форм налогообложения для увеличения поступлений в бюджет, объяснимо появление в категории «налоги» столь заметной доли стран противоборствующего блока – Тройственного союза (36,88 %) – видимо, считалось необходимым проанализировать соответствующую практику и у неприятеля. В целом то же самое можно отнести и к категории «правовое поле»: на разбор законодательных инициатив и законопроектов в стане противника приходится 31,18 % соответствующих публикаций, в то время как доля нейтральных стран наименьшая – 7,89 %. В категории «война» доля Тройственного союза и его сторонников достигает 31,68 %. Вообще, нельзя сказать, что «враг» забыт и в других категориях, наоборот: в уже упоминавшейся «торговле» - почти 24 % касаются противника, в «финансах» и того больше – 27,82 %, в «политической сфере» - 26,32 %, в «социально-экономической» - 25,13 %, а в «промышленности» - более 30 %. Всё это свидетельствует о неослабевающем внимании на страницах «Вестника…» к внутреннему положению во враждебном лагере.

Также построены диаграммы, демонстрирующие, напротив, доли основных семантических категорий в контексте упоминаний различных блоков стран (рис. 19-21):

Рис. 19. Структура категорий публикаций с упоминаниями Антанты

Рис. 20. Структура категорий публикаций с упоминаниями Тройственного союза

Рис. 21. Структура категорий публикаций с упоминаниями нейтральных стран

Для Антанты и союзников на первые места выходят «финансы», «торговля», «война» и «политическая сфера». Вот примечательная цитата: «Главной же чертой английского биржевого рынка за 1916 г. является то обстоятельство, что деятельность эта оставалась в скромных пределах и не отвлекала английское население от первенствующей финансовой задачи - снабжения государства необходимыми средствами для ведения войны» [20].

Для Тройственного союза главными категориями остаются те же три, на четвёртое место выдвигается «промышленность» (нужно знать и анализировать промышленный потенциал противника). В первом же квартале 1917 г. в журнале встречается ряд замечаний о ситуации в Германии: «Подводя итог нашему обзору, мы только можем повторить уже давно высказанное мнение, что война, несомненно, представляет большие материальные выгоды для некоторых слоёв германского населения, в частности, для обладателей акций предприятий, так или иначе связанных с работой на вооружение» [20, с. 406]. Есть и противопоставление в этом плане с ситацией в странах Антанты: «В то время, как в Германии план финансовой мобилизации и финансового ведения войны уже ряд лет вырабатывался отдельными лицами и учреждениями, служил предметом детального обсуждения, в странах согласия можно отметить лишь случайные, единичные проявления интереса к этой проблеме» [21]. Можно видеть и свидетельства изменений во внутренней финансовой политике России с началом войны: «Так, кроме германских и австрийских акционерных компаний, допущенных к операциям в России, к числу «подозрительных» были отнесены и те русские компании, акции или управление делами коих находилось в руках неприятельских подданных» [22].

В контексте сообщений о нейтральных странах важнейшей категорией становится, как мы уже видели, «торговля», далее идут «финансы» и «промышленность», а «война» замыкает условную четвёрку с 9,83 %. О Швеции: «Пользуясь положением нейтральной страны, Швеция значительно усилила свой экспорт в воюющие страны» [23].

***

Отметим небольшую статью в десятом номере журнала, важную для понимания позиции издания в данном переломном году. Речь в ней идёт об изменении политического строя России в результате Февральской революции: «Какова будет и должна быть роль нашего издания отныне? <...> Мы приглашаем русских экономистов независимо от их направления и симпатий к разработке предложений и мероприятий в целях содействия народному правительству. Все обоснованные и аргументированные мнения в меру технической возможности найдут себе место на страницах нашего издания. При этом разумеется, что мы имеем в виду не политический парламент мнений (ведь «Вестник Финансов» - орган экономический), а обсуждение тем компетентными людьми, специалистами, с различных точек зрения выясняющими истину. Наше издание постарается стать не выразителем той или иной экономической программы, а платформой для обмена мнений, лабораторией для экономической мысли, - конечно, по преимуществу не теоретической, а практической.

Мы были бы счастливы, если бы постановка и разработка столь важных в настоящее время финансовых и экономических вопросов на страницах нашего издания принесла бы хотя небольшую пользу обновляющейся России». [3].

Из приведённой цитаты можно сделать определённые выводы. Во-первых, редакция «Вестника...» вполне ожидаемо декларирует полную приверженность Временному правительству. Во-вторых, в этой статье налицо необходимость убедить читателей в том, что редакция и сотрудники ранее сталкивались чуть ли не с преследованиями. Сложно судить, было ли так на самом деле, но эта мысль внушалась аудитории: «Редакция «Вестника Финансов» гордится тем, что в составе её сотрудников находятся видные русские учёные экономисты и финансисты различных течений политической и экономической мысли прогрессивного направления. Нелегко было им порою, когда приходилось укладываться на прокрустово ложе. Тяжело было и редакции отстаивать полезные и талантливые произведения от ведомственных воздействий. Но, ввиду отсутствия в России независимых экономических органов печати, и сотрудникам, и членам редакции приходилось мириться с положением дел». [24, с. 453].

Примечания от редакции содержатся ещё в нескольких статьях «Вестника...», но рассмотренная выше наиболее явно выражает позицию редакции журнала. Частотный анализ в данном случае дополняется подробным чтением – close reading– текста источника.

Заключение

«Вестник финансов, промышленности и торговли» – ценный исторический источник с высоким потенциалом исследования и повышения информационной отдачи. Выявить не только явный, но и скрытый пласт содержащейся в этом журнале информации позволил компьютеризованный контент-анализ. Несмотря на то, что в конечном счёте интерпретация результатов исследования в определённом смысле субъективна и обусловлена постановкой исследовательской задачи, не вызывает сомнений отражение в тексте источника внетекстовой реальности.

Система семантических категорий, построенных на основе полнотекстовой базы статей журнала, позволила дополнить набор рубрик «Систематических перечней» журнала, а также набор ключевых слов, разделов и подразделов, предложенный в библиографической базе данных в работе А. К. Кириллова и В. С. Терентьева в 2005 г. [3]

Семантические категории и их индикаторы дают возможность составить представление о смысловых акцентах в материалах журнала. Контент-анализ «Вестника…» позволил выявить приоритетные тематические категории, к которым относились журнальные статьи, провести частотный анализ встречаемости этих категорий в динамике по кварталам, рассмотреть взаимосвязи категорий через частоты их совместной встречаемости. Взаимосвязи категорий выявляют аргументацию авторов статей при освещении тем, которые привлекали их внимание.

Проведённый контент-анализ ведущего печатного органа Министерства финансов показал, что «Вестник...» отображал проблемы социально-экономической сферы в России и за рубежом, назревшие в ходе Первой мировой войны. На протяжении всего года главной оставалась категория «финансы», её связи с другими по частотам совместной встречаемости наиболее сильны. «Торговля» занимает второе место в первые два квартала. В третьем квартале картина меняется: на второе место выходит категория «промышленность», а третье делят «политическая сфера» и «война». В четвёртом квартале, как мы знаем, журнал прекратил существование. Всё же ряд выводов можно сделать: «финансы» на первом месте и здесь, но следом идёт «война», а замыкает тройку «политическая сфера». Причём при исследовании связей категории «война» обнаружен неожиданный факт, который в случае использования традиционных методов анализа остался бы незамеченным: сильная связь с категорией «финансы» уже была отмечена, но связи с категориями «промышленность», «политическая сфера» и «торговля» оказались заметно сильнее, чем даже с противоборствующими блоками государств, не говоря уже о нейтральных странах. Таким образом, главным для освещения военной сферы на страницах «Вестника…» было, прежде всего, её финансовое содержание, а также политическая стабильность, промышленный и торговый потенциал страны в условиях войны, а не союзничество или противостояние в рамках соответствующих блоков.

Результаты контент-анализа показывают, что на страницах журнала отражались экономические процессы в России в 1917 году в условиях продолжающейся войны. Устойчивым ядром системы семантических категорий были, с одной стороны, финансовые вопросы, связанные с промышленностью, торговлей, налогами, с другой стороны – политические и социальные проблемы, поскольку война поставила Россию на грань финансового банкротства и социального взрыва.

Важен и взгляд редакции журнала на революционные события 1917 г., выраженный в статье «От редакции», небольшой по объёму, но важной по содержанию (поэтому мы подробно проанализировали её). Редакционная политика представлена лишённой нейтральности. Наоборот, как уже было замечено, есть приметы положительной окраски высказываний о Февральской революции, стремления придать формулировкам эмоциональность, и, напротив, осуждения самодержавия. Это позволяет предположить, что руководство «Вестника...» в данном случае решало двоякую задачу: продемонстрировать лояльность власти в новых условиях и опосредованно пропагандировать соответствующую политическую линию среди читателей.

Библиография
1. Гарскова И. М. Историческая информатика. Эволюция междисциплинарного направления. – СПб.: Алетейя, 2018. – С. 292–308.
2. Заиченко А. Н. Экономические процессы в Австро-Венгрии на страницах "Вестника финансов, промышленности и торговли" в 1906 г // Исторические, философские, политические и юридические науки, культурология и искусствоведение. Вопросы теории и практики. – 2013. – № 3-2(29). – С. 107–110.
3. Кириллов А. К. Электронная публикация исторических источников: проблемы и перспективы (на примере Вестника финансов, промышленности и торговли за 1917 год) // История Сибири, 1583–2006. Проблемы и перспективы: Сборник материалов региональной молодёжной научной конференции. – Новосибирск: ИД «Сова», 2006. – С. 14–19.
4. Кириллов А. К. От подушной подати к подоходному налогу: податные реформы капиталистической России и их воплощение в Западной Сибири второй половины XIX – начала XX века. Новосибирск: Параллель, 2017. – 178 с.
5. Костриков С. С., Костриков С. П. Источники коммерческой и политической информации Министерства финансов царской России (начало ХХ вв.) // Вопросы фундаментальных и прикладных научных исследований : сборник статей международной научной конференции, Омск, 10 марта 2023 г. – СПб: Частное научно-образовательное учреждение дополнительного профессионального образования Гуманитарный национальный исследовательский институт «НАЦРАЗВИТИЕ», 2023. – С. 6–8. – DOI 10.37539/230310.2023.17.34.005.
6. Саломатина С. А. Банковский кризис 1880-х гг. в Российской империи: новые количественные данные и оценки // Исторический журнал: научные исследования. – 2023. – № 1. – С. 85–108. DOI: 10.7256/2454-0609.2023.1.39571 URL: https://nbpublish.com/library_read_article.php?id=39571 (Дата обращения: 20.07.2023).
7. Китанина Т. М. Россия в Первой мировой войне, 1914-1917 гг.: экономика и экономическая политика: курс лекций. – СПб.: Гуманитарная академия, 2016. – 352 с.
8. Полное собрание законов Российской империи. Собрание третье. Том V. 1885. – СПб., 1887. – С. 13. URL: https://runivers.ru/lib/book3139/9998/ (Дата обращения: 31.07.2023).
9. «Необходимые сведения в возможно удобной форме...» [Электронный ресурс]. Режим доступа: https://bujet.ru/article/7131.php?sphrase_id=24395504 (Дата обращения: 06.07.2023).
10. MAXQDA: The Art of Data Analysis [Official website]. Режим доступа: https://maxqda.com/about (Дата обращения: 06.07.2023).
11. Воронкова Д. С. Вестник финансов, промышленности и торговли за 1917 г. как источник для изучения экономического развития России: тематика и авторы статей журнала // Исторический журнал: научные исследования. – 2018. – № 3. – С. 148–162.
12. Воронкова Д. С.  Количественный анализ журнала Вестник финансов, промышленности и торговли за 1913 г.: авторы и тематика статей // Там же. – 2020. – № 4. – С. 54–73.
13. Воронкова Д. С. Сравнительный анализ тематики публикаций журнала Вестник финансов, промышленности и торговли за 1913 и 1917 гг // Исторические исследования в контексте науки о данных: информационные ресурсы, аналитические методы и цифровые технологии. Материалы международной конференции. Москва, 4–6 декабря 2020 г. – Макс Пресс, Москва, 2020. – С. 25–32.
14. Ремез Б. Денежная реформа и развитие производительных сил // Вестник финансов, промышленности и торговли. – 1917 (далее – Вестник…). – № 9. – С. 396.
15. Гурьев А. Н. Опыт анализа и решения финансовой проблемы // Вестник... – № 39. – С. 362.
16. Рапопорт С. И. Строительство будущей экономической жизни в Великобритании // Вестник... – № 43. – С. 514.
17. Полюта Ев. К реформе промыслового обложения // Вестник... – № 30. С. 92.
18. Кулишер И. И. Реформа городских финансов // Вестник... – № 40. – С. 403.
19. Элияссон Л. С. Вопросы кодификации чекового права // Вестник… – № 23. – С. 394.
20. Кан Р. Европейские биржи в 1916 г. // Вестник... – № 9. – С.406.
21. Левин И. И. Военные займы во Франции // Вестник... – № 13-14. – С. 607.
22. А. В. Законодательство о предприятиях неприятельских подданных // Вестник... – № 10. – С. 461.
23. Шатенштейн В. Теория и практика денежного обращения // Вестник... – № 1. – С. 7. 
24. От редакции // Вестник... – № 10. – С. 453.
References
1. Garskova, I. M. (2018). Историческая информатика: эволюция междисциплинарного направления [Historical Information Science: Evolution of Interdisciplinary Field]. Saint Petersburg, Russia: Aleteya, 292-308.
2. Zaichenko, A. N. (2013). Economic Processes in Austria-Hungary in “Herald of Finance, Industry and Commerce” Pages in 1906. Исторические, философские, политические и юридические науки, культурология и искусствоведение. Вопросы теории и практики, 3(29), 107–110.
3. Kirillov, A. K. (2006). Электронная публикация исторических источников: проблемы и перспективы (на примере Вестника финансов, промышленности и торговли за 1917 год) [Electronic Publishing of the Historical Sources: Problems and Perspectives (by the Example of the “Bulletin of Finance, Industry and Trade” for 1917).]. История Сибири, 1583–2006. Проблемы и перспективы: Сборник материалов региональной молодёжной научной конференции, 14–19. Novosibirsk, Russia: Owl Publishing House.
4. Kirillov, A. K. (2017). From the Poll Tax to Income Tax: Tax Reforms of Capitalistic Russia and Their Implementation in Western Siberia in the second half of the XIX – early XX century. Novosibirsk, Russia: Parallel.
5. Kostrikov,S. S. & Kostrikov, S. P. (2023). Источники коммерческой и политической информации Министерства финансов царской России (начало ХХ вв.) [Sources of Commercial and Political Information Ministry of Finance of Tsarist Russia (The Beginning of the XX Century).]. Вопросы фундаментальных и прикладных научных исследований: сборник статей международной научной конференции, 6–8.  https://doi.org/10.37539/230310.2023.17.34.005
6. Salomatina, S. A. (2023). Банковский кризис 1880-х гг. в Российской империи: новые количественные данные и оценки [Banking Crisis of the 1880s in the Russian Empire: New Quantitative Data and Estimates]. Исторический журнал: научные исследования, 1, 85–108. Retrieved from https://doi.org/10.7256/2454-0609.2023.1.39571
7. Kitanina, T. M. (2016). Россия в Первой мировой войне 1914-1917: экономика и экономическая политика. Курс лекций [Russia in the First World War 1914-1917: Economy and Economic Policy: Cource of Lectures]. Saint Petersburg, Russia: Academia of the Humanities.
8Полное собрание законов Российской империи. (1887). [Complete Collection of Laws of the Russian Empire]. 3, V, 13. Retrieved from https://runivers.ru/lib/book3139/9998/
9. «Необходимые сведения в возможно удобной форме...» [“The Necessary Information in a Much More Convenient Form…”]. Retrived from https://bujet.ru/article/7131.php?sphrase_id=24395504
10. MAXQDA: The Art of Data Analysis. Retrieved from https://maxqda.com/about
11. Voronkova, D. S. (2018). Вестник финансов, промышленности и торговли за 1917 г. как источник для изучения экономического развития России: тематика и авторы статей журнала [“Bulletin of Finance, Industry and Trade” for 1917 as a Source for Examine of the Economic Development of Russia]. Исторический журнал: научные исследования, 3, 148–162.
12. Voronkova, D. S. (2020). Количественный анализ журнала Вестник финансов, промышленности и торговли за 1913 г.: авторы и тематика статей [Quantitative Analysis of the “Journal of Finance, Industry and Trade” for 1913: Authors and Discussed Topics]. Исторический журнал: научные исследования, 4, 54–73. Retrieved from https://doi.org/10.7256/2454-0609.2020.4.33722
13. Voronkova, D. S. (2020). Сравнительный анализ тематики публикаций журнала Вестник финансов, промышленности и торговли за 1913 и 1917 гг [Comparative Analysis of the Thematic Focus of the Publications of the “Journal of Finance, Industry and Trade” for 1913 and for 1917]. Исторические исследования в контексте науки о данных: информационные ресурсы, аналитические методы и цифровые технологии. Материалы международной конференции. Москва, 4–6 декабря 2020 г. Moscow, Russia: Maks Press, 25–32.
14. Remez, B. (1917). Денежная реформа и развитие производительных сил [Monetary Reform and the Development of the Productive Forces]. Вестник финансов, промышленности и торговли, 9, 396.
15. Gur’ev, A. N. (1917). Опыт анализа и решения финансовой проблемы [Experience of Analysis and Solution of Financial Trouble]. Вестник финансов, промышленности и торговли, 39, 362.
16. Rapoport, S. I. (1917). Строительство будущей экономической жизни в Великобритании [Development of the Future Economic Life in Great Britain]. Вестник финансов, промышленности и торговли, 43, 514.
17. Poliuta, E. (1917). К реформе промыслового обложения [For Reform of the Commercial Taxation]. Вестник финансов, промышленности и торговли, 30, 92.
18. Kulisher, I. I. (1917). Реформа городских финансов [Reform of the City Finances]. Вестник финансов, промышленности и торговли, 40, 403.
19. Eliyasson, L. S. (1917). Вопросы кодификации чекового права [Issues of the Codification of Cheque Law]. Вестник финансов, промышленности и торговли, 23, 394.
20. Kan, R. (1917). Европейские биржи в 1916 г. [European Exchanges in 1916]. Вестник финансов, промышленности и торговли, 9, 406.
21. Levin, I. I. (1917). Военные займы во Франции [War Bonds in France]. Вестник финансов, промышленности и торговли, 13-14, 607.
22. A. V. (1917). Законодательство о предприятиях неприятельских подданных [Legislation about Enterprises of the Enemy Aliens]. Вестник финансов, промышленности и торговли, 10, 461.
23. Shatenshtein, V. (1917). Теория и практика денежного обращения [Theory and Practice of the Monetary Circulation]. Вестник финансов, промышленности и торговли, 1, 7. 
24. От редакции (1917). [From the Editorial Office]. Вестник финансов, промышленности и торговли, 10, 453.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Отзыв
На статью «Опыт компьютеризованного контент-анализа статей журнала «Вестник финансов, промышленности и торговли» за 1917 г.

Предмет исследования обозначен в названии и разъяснен в тексте статьи.
Методология исследования. Автор отмечает, что он использовал метод контент-анализа, метод, признан перспективным при проведении исторических, социологических и иных исследований. Методом контент-анализа исследуется газетные, журнальные, научные и иные тексты, новостные Интернет ресурсы и многое другое. Контент –анализ относится к одному из наиболее широко используемых исследователями методов при анализе большого количества материалов.
Новизна материала обусловлена постановкой проблемы и задач. Новизна также заключается в том, автор рецензируемой статьи провел контент –анализ журнала «Вестник финансов, промышленности и торговли», ранее материала этого журнала не были изучены методом контент-анализа. Контент-анализ статей журнала был проведен при помощи программы MAXQDA, которая может создавать переменные к анализируемым текстам.
Стиль, структура и содержание. Стиль статьи научный, но есть элементы и научно-популярного стиля и это делает статью понятной для более широкого круга читателей. Структура статьи направлена на достижение цели и задач статьи. Статья состоит из небольшой вводной части и следующих разделов: «Вестник...» как источник; Методика исследования; Разработка системы категорий и анализ частот их встречаемости; Анализ частот совместной встречаемости категорий; Анализ категории «страны»; Заключение. Названия разделов соответствуют содержанию. Автор разъясняет методику исследования, цель и задачи. Он по содержанию статьи выделил наиболее часто встречающие статьи и на их основе определил индикаторы. Затем индикаторы укрупнил в систему категорий. Потом текст был проиндексирован с использованием опции автокодирования со словарем. Автор поясняет, что «индексирование в контент-анализе – это разметка в тексте сегментов, где встречаются индикаторы соответствующих категорий. Индексирование базировалось на индикаторах, для которых задавались только корневые основы слов». Всего автор выделил 14 категорий: финансы, торговля, промышленность, война, политическая сфера, социально-экономическая сфера, налоги, правовое поле, сельское хозяйство, акционерное дело, транспорт, почта и телеграф, переселенческая политика, страны. Авто отмечает, что все эти категории «за исключением категории «страны», одноуровневые, а последняя включает противоборствующие и нейтральные государства, причём состав соответствующих блоков формировался с учётом реалий 1917 г., поэтому, например, Италия оказалась на стороне Антанты)». Им также были выделены наиболее важные проблемы, которые освещал журнал и проанализирована их тематика. Содержание статьи логично выстроено, последовательно изложено и направлено на достижение цели и задач. В тексте статьи представлена 1 таблица и 21 рисунок, что дает читателю возможность лучше понять текст статьи. В заключении статьи автор отмечает, что «результаты контент-анализа показывают, что на страницах журнала отражались экономические процессы в России в 1917 году в условиях продолжающейся войны. Устойчивым ядром системы семантических категорий были, с одной стороны, финансовые вопросы, связанные с промышленностью, торговлей, налогами, с другой стороны – политические и социальные проблемы, поскольку война поставила Россию на грань финансового банкротства и социального взрыва». Кроме того, контент- анализ позволил выявить и позицию редакции «Вестника..», которое не было нейтральным и, по мнению, автора статьи «решало двоякую задачу: продемонстрировать лояльность власти в новых условиях и опосредованно пропагандировать соответствующую политическую линию среди читателей».
Библиография статьи насчитывает 24 источника, библиография разнообразна и в полной мере дает представление читателям как о контент-анализе, как методе исторического исследования, так и ситуации, сложившейся в 1917 году. Библиография показывает, что авторы статьи хорошо разбираются не только в исследуемой теме, но в смежных темах.
Апелляция к оппонентам представлена на уровне собранного в ходе работы над темой статьи информации. Апелляция к оппонентам представлена в библиографии, в котором можно найти ответы, на интересующие вопросы. Статья написана на интересную тему, контент-анализ журнала «Вестник финансов, промышленности и торговли» за 1917 г показывает, что контент –анализ дает широкие возможности для анализа материалов журнала и представляется, что это будет способствовать дальнейшему развитию данного метода в исторических исследованиях. Статья будет интересна специалистам и широкому кругу читателей (студентов, магистрантов, аспирантов).
Ссылка на эту статью

Просто выделите и скопируйте ссылку на эту статью в буфер обмена. Вы можете также попробовать найти похожие статьи


Другие сайты издательства:
Официальный сайт издательства NotaBene / Aurora Group s.r.o.