3S administration guide

Материал из DvoWiki
Перейти к: навигация, поиск

Руководство администратора.

Аппаратные требования.

В случае установки всех компонентов системы на один компьютер: Процессор: AMD Opteron (2 CPU) Оперативная память: 4 Гб. Жесткий диск: 200 Гб. Сетевая карта

Системные требования.

1.ОС Linux 2.SUN JDK 1.5+ и выше 3.MySQL 5 и выше 4.TomCat 5.5 и выше 5.Apache 2 6.md5sum 7.file 8.pdftotext 9.djvutxt 10.mp3info 11.wget


Ниже рассматривается вариант установки всех компонентов системы на один компьютер. Предполагается что к данному моменту времени установлены и настроены все компоненты указанные в системных требованиях.

Установка системы.

Данные операции выполняются пользователем с правами администратора(root).

  1. Разархивируйте дистрибутив в директорию /tmp (Или любую другую). Для этого выполните команду root$tar -xvvf distr.tar в этой директории. В результате в выбранной вами директории должна появится папка distr.
  2. Перейдите в директорию distr и запустите установочный скрипт install.sh: root$cd distr && ./install.sh. В результате работы этого скрипта будут созданы группа и пользователь sss, от которого будет действовать программа, а также ряд каталогов.

Создание баз данных.

Для работы системе необходимо создание нескольких баз данных и привилегий доступа к ним. Для этого вам необхлдимо иметь права администратора в СУБД MySQL.

Выполните следующую команду:

shell> mysql -h HOST -u USER -p < install_db.sql

Enter password: ********

Где USER имя пользователя, HOST адрес MySQL сервера ,******** обозначает пароль для данного пользователя. В случае если пароль администратора MySQL не задан и MySQL сервер находится на одном компьютере с устанавливаемой программой можно использовать упрощенный синтаксис:

shell> mysql < install_db.sql

Затем необходимо установить права доступа к базам данных, созданных на предыдущем этапе. Для этого откройте сеанс пользователя обладающего соответствующими правами выполнив команду:

shell>mydql -h HOST -u USER -p.

Затем следует ввести следующие команды:

mysql>GRANT ALL PRIVILEGES ON SemanticNetTasks.* TO 'USER_OF_DATABASE'@'localhost' IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';

mysql>GRANT ALL PRIVILEGES ON TaskList.* TO 'USER_OF_DATABASE'@'localhost' IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';

mysql>GRANT ALL PRIVILEGES ON fileLocator.* TO 'USER_OF_DATABASE'@'localhost' IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';

mysql>GRANT ALL PRIVILEGES ON semnet.* TO 'USER_OF_DATABASE'@'localhost' IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';

mysql>GRANT ALL PRIVILEGES ON textFiles.* TO 'USER_OF_DATABASE'@'localhost' IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';

Где USER_OF_DATABASE пользователь от которого устанавливаемая программа будет работать с базой данных, PASSWORD_FOR_THIS_USER пароль для этого пользователя. Если MySQL сервер находится на другом компьютере то вместо localhost необходимо прописать адрес этого компьютера.

Установка веб-интерфейса.

Дальнейшие указания являются стандартными указаниями по установки приложений на сервер веб приложений TomCat. Для установки веб интерфейса необходимо иметь права менеджера(manager) в TomCat. Для установки необходимо зайти в браузере на адресс http://localhost:8080/. В появившйся странице выберете ссылку Tomcat Manager. Далее необходимо ввести логин и пароль менеджера TomCat. После чего в появившейся странице управления приложениями необходимо в сеции ?WAR file to deploy? указать путь до файла WebInterface.war, находящемся в папке с дистрибутивом и нажать кнопку deploy.

Конфигурирование системы.

Основное конфигурирование системы осуществляется через правку конфигурационных файлов находящихся в директории /etc/3s. Для продолженя работы перейдите в директорию /etc/3s, набрав комманду shell>cd /etc/3s.

Конфигурирование сервера закачек:

( downloadserver/config.xml) <DownloadServerConf> 

   <ManagerFolder>/opt/3s/downmanagers/</ManagerFolder>
   <TempFolderRoot>/tmp/3s/</TempFolderRoot>
   
   <DownloadServerPort>10000</DownloadServerPort>
   <MetaServerHost>127.0.0.1</MetaServerHost>
   <MetaServerPort>9000</MetaServerPort>
   
   <Manager>
       <protocol>http</protocol>
       <ManagerFile>managerhttp.ManagerHTTP</ManagerFile>                   
   </Manager>
   <Manager>        
       <protocol>ftp</protocol>
       <ManagerFile>managerftp.ManagerFTP</ManagerFile>                   
   </Manager>

</DownloadServerConf>

(downloadservergetpart/config.xml) <Config> 

   <TempFolder>/mnt/sda/3s/temp/</TempFolder>
   <ServerPort>9000</ServerPort>
   <DBUser>USER_NAME</DBUser>
   <DBPassword>USER_PASSWORD</DBPassword>
   <DBHost>127.0.0.1</DBHost>
   <DBDriver>com.mysql.jdbc.Driver</DBDriver>
   <DBName>textFiles</DBName>
   
   <TLBUser>USER_NAME</TLBUser>
   <TLBPassword>USER_PASSWORD</TLBPassword>
   <TLBHost>127.0.0.1</TLBHost>
   <TLBDriver>com.mysql.jdbc.Driver</TLBDriver>
   <TLBName>TaskList</TLBName>
      
   <FLCUser>connector</FLCUser>
   <FLCPassword>mysql_password</FLCPassword>
   <FLCHost>192.168.2.29</FLCHost>
   <FLCDriver>com.mysql.jdbc.Driver</FLCDriver>
   <FLCName>fileLocator</FLCName>

</Config>

Конфигурирование сервера извлечения метанформации:

( metainformationserver/config.xml) <Conf> 

   <TimeOut>

<Use>static</Use> <TimeOutFile>/home/java_projects/NewFilters/timeouts</TimeOutFile> 

   </TimeOut>
   <FilterStore>/opt/3s/filters/</FilterStore>
       <Filter>
           <FilterName>filter_djvu2txt</FilterName>
           <FilterFile>filter_djvu2txt.filter_djvu2txt</FilterFile>
       </Filter>
       <Filter>
           <FilterName>filter_textanalyzer</FilterName>
           <FilterFile>filter_textanalyzer.filter_textanalyzer</FilterFile>
       </Filter>    
       <Filter>
           <FilterName>filter_pdftotext</FilterName>
           <FilterFile>filter_pdf2text.filter_pdftotext</FilterFile>
       </Filter>

<Filter> <FilterName>filter_html</FilterName> <FilterFile>filter_html.filter_HTML</FilterFile> </Filter> 

       <Filter>
           <FilterName>filter_htmlinfo</FilterName>
           <FilterFile>filter_htmlinfo.filter_htmlinfo</FilterFile>
       </Filter>

<Filter> <FilterName>filter_pdfinfo</FilterName> <FilterFile>filter_pdfinfo.filter_pdfinfo</FilterFile> </Filter> <Filter> <FilterName>filter_gmfs</FilterName> <FilterFile>filter_gmfs.filter_gmfs</FilterFile> </Filter> <Filter> <FilterName>filter_mp3info</FilterName> <FilterFile>filter_mp3info.filter_mp3info</FilterFile> </Filter> 

   <RulePath>/opt/3s/filters/</RulePath>
       <Rule>djvu.xml</Rule>
       <Rule>pdf.xml</Rule>
       <Rule>text_x-c.xml</Rule>
       <Rule>audio_mpeg.xml</Rule>
       <Rule>html.xml</Rule>
   <DBUser>USER_NAME</DBUser>
   <DBPass>USER_PASSWORD</DBPass>
   <DBHost>127.0.0.1</DBHost>
   <DBName>textFiles</DBName>
   <DBDriver>com.mysql.jdbc.Driver</DBDriver>

   <SemanticDBUser>USER_NAME</SemanticDBUser>
   <SemanticDBPass>USER_PASSWORD</SemanticDBPass>
   <SemanticDBHost>127.0.0.1</SemanticDBHost>
   <SemanticDBName>SemanticNetTasks</SemanticDBName>
   <SemanticDBDriver>com.mysql.jdbc.Driver</SemanticDBDriver>
   <FileLocatorUser>USER_NAME</FileLocatorUser>
   <FileLocatorPass>USER_PASSWORD</FileLocatorPass>
   <FileLocatorHost>127.0.0.1</FileLocatorHost>
   <FileLocatorName>fileLocator</FileLocatorName>
   <FileLocatorDriver>com.mysql.jdbc.Driver</FileLocatorDriver>

   <TLBUser>USER_NAME</TLBUser>
   <TLBPass>USER_PASSWORD</TLBPass>
   <TLBHost>127.0.0.1</TLBHost>
   <TLBName>TaskList</TLBName>
   <TLBDriver>com.mysql.jdbc.Driver</TLBDriver>
   <ServerPort>9000</ServerPort>
   <TempFolder>/tmp/3s</TempFolder>

</Conf>

Конфигурирование сервисов семантической сети:

(semanticengine/semanticengine.conf.xml) <root> 

    <databases>
        <object_database>
           <dbuser>USER_NAME</dbuser>
           <dbadress>127.0.0.1</dbadress>
           <dbname>textFiles</dbname>
           <dbpassword>USER_PASSWORD</dbpassword>
       </object_database>

<locator_database> 

           <dbuser>USER_NAME</dbuser>
           <dbadress>127.0.0.1</dbadress>
           <dbname>SemanticNetTasks</dbname>
           <dbpassword>USER_PASSWORD</dbpassword>

</locator_database> 

       <semantic_database>
           <dbuser>USER_NAME</dbuser>
           <dbadress>127.0.0.1</dbadress>
           <dbname>semnet</dbname>
           <dbpassword>USER_PASSWORD</dbpassword>
           <default_model_name>SemanticModelGenere_1</default_model_name>
       </semantic_database>
       <full_text_searcher_database>
            <dbuser>USER_NAME</dbuser>
           <dbadress>127.0.0.1</dbadress>
           <dbname>semnet</dbname>
           <dbpassword>USER_PASSWORD</dbpassword>
       </full_text_searcher_database>
   </databases>
   <servers>
       <semantic_server>
           <address>127.0.0.1</address>
           <port>9996</port>
       </semantic_server>            
       <search_server>
           <address>127.0.0.1</address>
           <port>9997</port>
       </search_server>
       <larq_server>
           <address>127.0.0.1</address>
           <port>9995</port>
           <index_dir_path>/opt/3s/larqindex</index_dir_path>
       </larq_server>
   </servers>

   <paches>
       <search_engine>
           <searh_paches>            
           <pach>
                   <pach_path>/opt/3s/plugins/FullTextSearcherPlugin.jar</pach_path>
                   <class_name>ru.dvo.searchengine.plugins.FullTextSearcherPlugin</class_name>
               </pach>                 
               <pach>
                   <pach_path> /opt/3s/plugins/SemanticNetValuesSearcherPlugin.jar</pach_path>
                   <class_name>ru.dvo.searchengine.plugins.SemanticNetValuesSearcherPlugin</class_name>
               </pach> 
           </searh_paches>
       </search_engine>
   </paches>

</root>

Конфигурирование веб интерфейса:

Для этого необходимо установить значения контекстных параметров в файле web.xml находящемся в директории TOMCAT_HOME_DIR/webapps/WebInterface/WEB-INF/. <context-param> 

       <description>Adress of the server thet provide searching </description>
       <param-name>search_server_address</param-name>
        <param-value>192.168.2.29</param-value>
</context-param>
<context-param>
       <description>Port of serching server</description>
       <param-name>search_server_port</param-name>
       <param-value>9997</param-value>
 </context-param>

Запуск системы.

Запуск системы производится выполнением следующих команд. #/etc/init.d/downloadservergetpart start #/etc/init.d/downloadserver start #/etc/init.d/metainformationserver start #/etc/init.d/semanticserver start #/etc/init.d/searcher start

Отслеживание работы системы.

Производится через просмотр лог файлов. Стандартное расположение лог файлов директория /var/log/3s. Каждому запущенному сервису соответствует два файла имя_сервиса.log для информационного вывода данного сервиса и имя_сервиса.err для вывода ошибок.

Источник — «http://wiki.dvo.ru/index.php?title=3S_administration_guide&oldid=5041»