3S administration guide — различия между версиями

Материал из DvoWiki
Перейти к: навигация, поиск
(Установка системы.)
Строка 28: Строка 28:
 
==Установка системы.==
 
==Установка системы.==
 
Данные операции выполняются пользователем с правами администратора(root).
 
Данные операции выполняются пользователем с правами администратора(root).
 +
 
#Разархивируйте дистрибутив в директорию /tmp (Или любую другую). Для этого выполните команду root$tar -xvvf distr.tar в этой директории. В результате в выбранной вами директории должна появится папка distr.
 
#Разархивируйте дистрибутив в директорию /tmp (Или любую другую). Для этого выполните команду root$tar -xvvf distr.tar в этой директории. В результате в выбранной вами директории должна появится папка distr.
 
#Перейдите в директорию distr и запустите установочный скрипт install.sh: root$cd distr && ./install.sh. В результате работы этого скрипта будут созданы группа и пользователь sss, от которого будет действовать программа, а также ряд каталогов.
 
#Перейдите в директорию distr и запустите установочный скрипт install.sh: root$cd distr && ./install.sh. В результате работы этого скрипта будут созданы группа и пользователь sss, от которого будет действовать программа, а также ряд каталогов.
 
Создание баз данных.
 
Создание баз данных.
 +
 
Для работы системе необходимо создание нескольких баз данных и привилегий доступа к ним. Для этого вам необхлдимо иметь права администратора в СУБД MySQL.  
 
Для работы системе необходимо создание нескольких баз данных и привилегий доступа к ним. Для этого вам необхлдимо иметь права администратора в СУБД MySQL.  
 +
 
Выполните  следующую команду:
 
Выполните  следующую команду:
 +
 
shell> mysql -h HOST -u USER -p < install_db.sql
 
shell> mysql -h HOST -u USER -p < install_db.sql
 +
 
Enter password: ********
 
Enter password: ********
 +
 
Где USER имя пользователя, HOST адрес MySQL сервера  ,******** обозначает пароль для данного пользователя. В случае если пароль администратора MySQL не задан и MySQL сервер находится на одном компьютере с устанавливаемой программой можно использовать упрощенный синтаксис:
 
Где USER имя пользователя, HOST адрес MySQL сервера  ,******** обозначает пароль для данного пользователя. В случае если пароль администратора MySQL не задан и MySQL сервер находится на одном компьютере с устанавливаемой программой можно использовать упрощенный синтаксис:
 +
 
shell> mysql  < install_db.sql
 
shell> mysql  < install_db.sql
 +
 
Затем необходимо установить права доступа к базам данных, созданных на предыдущем этапе. Для этого откройте сеанс пользователя обладающего соответствующими правами выполнив команду:
 
Затем необходимо установить права доступа к базам данных, созданных на предыдущем этапе. Для этого откройте сеанс пользователя обладающего соответствующими правами выполнив команду:
 +
 
shell>mydql -h HOST -u USER -p.
 
shell>mydql -h HOST -u USER -p.
 +
 
Затем следует ввести следующие команды:
 
Затем следует ввести следующие команды:
<nowiki>
+
 
 
mysql>GRANT ALL PRIVILEGES ON SemanticNetTasks.* TO 'USER_OF_DATABASE'@'localhost'  IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';
 
mysql>GRANT ALL PRIVILEGES ON SemanticNetTasks.* TO 'USER_OF_DATABASE'@'localhost'  IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';
 +
 
mysql>GRANT ALL PRIVILEGES ON TaskList.* TO 'USER_OF_DATABASE'@'localhost'  IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';
 
mysql>GRANT ALL PRIVILEGES ON TaskList.* TO 'USER_OF_DATABASE'@'localhost'  IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';
 +
 
mysql>GRANT ALL PRIVILEGES ON fileLocator.* TO 'USER_OF_DATABASE'@'localhost'  IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';
 
mysql>GRANT ALL PRIVILEGES ON fileLocator.* TO 'USER_OF_DATABASE'@'localhost'  IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';
 +
 
mysql>GRANT ALL PRIVILEGES ON semnet.* TO 'USER_OF_DATABASE'@'localhost'  IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';
 
mysql>GRANT ALL PRIVILEGES ON semnet.* TO 'USER_OF_DATABASE'@'localhost'  IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';
 +
 
mysql>GRANT ALL PRIVILEGES ON textFiles.* TO 'USER_OF_DATABASE'@'localhost'  IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';
 
mysql>GRANT ALL PRIVILEGES ON textFiles.* TO 'USER_OF_DATABASE'@'localhost'  IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';
</nowiki>
+
 
 
Где  USER_OF_DATABASE пользователь от которого устанавливаемая программа будет работать с базой данных,  PASSWORD_FOR_THIS_USER пароль для этого пользователя.
 
Где  USER_OF_DATABASE пользователь от которого устанавливаемая программа будет работать с базой данных,  PASSWORD_FOR_THIS_USER пароль для этого пользователя.
 
Если MySQL сервер находится на другом компьютере то вместо localhost  необходимо прописать адрес этого компьютера.
 
Если MySQL сервер находится на другом компьютере то вместо localhost  необходимо прописать адрес этого компьютера.
 +
 
==Установка веб-интерфейса.==
 
==Установка веб-интерфейса.==
 
Дальнейшие указания являются стандартными указаниями  по установки приложений на сервер веб приложений TomCat.  
 
Дальнейшие указания являются стандартными указаниями  по установки приложений на сервер веб приложений TomCat.  

Версия 12:04, 28 апреля 2007

Руководство администратора.

Аппаратные требования.

В случае установки всех компонентов системы на один компьютер: Процессор: AMD Opteron (2 CPU) Оперативная память: 4 Гб. Жесткий диск: 200 Гб. Сетевая карта

Системные требования.

1.ОС Linux 2.SUN JDK 1.5+ и выше 3.MySQL 5 и выше 4.TomCat 5.5 и выше 5.Apache 2 6.md5sum 7.file 8.pdftotext 9.djvutxt 10.mp3info 11.wget


Ниже рассматривается вариант установки всех компонентов системы на один компьютер. Предполагается что к данному моменту времени установлены и настроены все компоненты указанные в системных требованиях.

Установка системы.

Данные операции выполняются пользователем с правами администратора(root).

  1. Разархивируйте дистрибутив в директорию /tmp (Или любую другую). Для этого выполните команду root$tar -xvvf distr.tar в этой директории. В результате в выбранной вами директории должна появится папка distr.
  2. Перейдите в директорию distr и запустите установочный скрипт install.sh: root$cd distr && ./install.sh. В результате работы этого скрипта будут созданы группа и пользователь sss, от которого будет действовать программа, а также ряд каталогов.

Создание баз данных.

Для работы системе необходимо создание нескольких баз данных и привилегий доступа к ним. Для этого вам необхлдимо иметь права администратора в СУБД MySQL.

Выполните следующую команду:

shell> mysql -h HOST -u USER -p < install_db.sql

Enter password: ********

Где USER имя пользователя, HOST адрес MySQL сервера ,******** обозначает пароль для данного пользователя. В случае если пароль администратора MySQL не задан и MySQL сервер находится на одном компьютере с устанавливаемой программой можно использовать упрощенный синтаксис:

shell> mysql < install_db.sql

Затем необходимо установить права доступа к базам данных, созданных на предыдущем этапе. Для этого откройте сеанс пользователя обладающего соответствующими правами выполнив команду:

shell>mydql -h HOST -u USER -p.

Затем следует ввести следующие команды:

mysql>GRANT ALL PRIVILEGES ON SemanticNetTasks.* TO 'USER_OF_DATABASE'@'localhost' IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';

mysql>GRANT ALL PRIVILEGES ON TaskList.* TO 'USER_OF_DATABASE'@'localhost' IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';

mysql>GRANT ALL PRIVILEGES ON fileLocator.* TO 'USER_OF_DATABASE'@'localhost' IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';

mysql>GRANT ALL PRIVILEGES ON semnet.* TO 'USER_OF_DATABASE'@'localhost' IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';

mysql>GRANT ALL PRIVILEGES ON textFiles.* TO 'USER_OF_DATABASE'@'localhost' IDENTIFIED BY 'PASSWORD_FOR_THIS_USER';

Где USER_OF_DATABASE пользователь от которого устанавливаемая программа будет работать с базой данных, PASSWORD_FOR_THIS_USER пароль для этого пользователя. Если MySQL сервер находится на другом компьютере то вместо localhost необходимо прописать адрес этого компьютера.

Установка веб-интерфейса.

Дальнейшие указания являются стандартными указаниями по установки приложений на сервер веб приложений TomCat. Для установки веб интерфейса необходимо иметь права менеджера(manager) в TomCat. Для установки необходимо зайти в браузере на адресс http://localhost:8080/. В появившйся странице выберете ссылку Tomcat Manager. Далее необходимо ввести логин и пароль менеджера TomCat. После чего в появившейся странице управления приложениями необходимо в сеции ?WAR file to deploy? указать путь до файла WebInterface.war, находящемся в папке с дистрибутивом и нажать кнопку deploy.

Конфигурирование системы.

Основное конфигурирование системы осуществляется через правку конфигурационных файлов находящихся в директории /etc/3s. Для продолженя работы перейдите в директорию /etc/3s, набрав комманду shell>cd /etc/3s.

Конфигурирование сервера закачек:

( downloadserver/config.xml) <DownloadServerConf>

   <ManagerFolder>/opt/3s/downmanagers/</ManagerFolder>
   <TempFolderRoot>/tmp/3s/</TempFolderRoot>
   
   <DownloadServerPort>10000</DownloadServerPort>
   <MetaServerHost>127.0.0.1</MetaServerHost>
   <MetaServerPort>9000</MetaServerPort>
   
   <Manager>
       <protocol>http</protocol>
       <ManagerFile>managerhttp.ManagerHTTP</ManagerFile>                   
   </Manager>
   <Manager>        
       <protocol>ftp</protocol>
       <ManagerFile>managerftp.ManagerFTP</ManagerFile>                   
   </Manager>

</DownloadServerConf>

(downloadservergetpart/config.xml) <Config>

   <TempFolder>/mnt/sda/3s/temp/</TempFolder>
   <ServerPort>9000</ServerPort>
   <DBUser>USER_NAME</DBUser>
   <DBPassword>USER_PASSWORD</DBPassword>
   <DBHost>127.0.0.1</DBHost>
   <DBDriver>com.mysql.jdbc.Driver</DBDriver>
   <DBName>textFiles</DBName>
   
   <TLBUser>USER_NAME</TLBUser>
   <TLBPassword>USER_PASSWORD</TLBPassword>
   <TLBHost>127.0.0.1</TLBHost>
   <TLBDriver>com.mysql.jdbc.Driver</TLBDriver>
   <TLBName>TaskList</TLBName>
      
   <FLCUser>connector</FLCUser>
   <FLCPassword>mysql_password</FLCPassword>
   <FLCHost>192.168.2.29</FLCHost>
   <FLCDriver>com.mysql.jdbc.Driver</FLCDriver>
   <FLCName>fileLocator</FLCName>    

</Config>

Конфигурирование сервера извлечения метанформации:

( metainformationserver/config.xml) <Conf>

   <TimeOut>

<Use>static</Use> <TimeOutFile>/home/java_projects/NewFilters/timeouts</TimeOutFile>

   </TimeOut>
   <FilterStore>/opt/3s/filters/</FilterStore>
       <Filter>
           <FilterName>filter_djvu2txt</FilterName>
           <FilterFile>filter_djvu2txt.filter_djvu2txt</FilterFile>
       </Filter>
       <Filter>
           <FilterName>filter_textanalyzer</FilterName>
           <FilterFile>filter_textanalyzer.filter_textanalyzer</FilterFile>
       </Filter>    
       <Filter>
           <FilterName>filter_pdftotext</FilterName>
           <FilterFile>filter_pdf2text.filter_pdftotext</FilterFile>
       </Filter>

<Filter> <FilterName>filter_html</FilterName> <FilterFile>filter_html.filter_HTML</FilterFile> </Filter>

       <Filter>
           <FilterName>filter_htmlinfo</FilterName>
           <FilterFile>filter_htmlinfo.filter_htmlinfo</FilterFile>
       </Filter>	

<Filter> <FilterName>filter_pdfinfo</FilterName> <FilterFile>filter_pdfinfo.filter_pdfinfo</FilterFile> </Filter> <Filter> <FilterName>filter_gmfs</FilterName> <FilterFile>filter_gmfs.filter_gmfs</FilterFile> </Filter> <Filter> <FilterName>filter_mp3info</FilterName> <FilterFile>filter_mp3info.filter_mp3info</FilterFile> </Filter>

   <RulePath>/opt/3s/filters/</RulePath>
       <Rule>djvu.xml</Rule>
       <Rule>pdf.xml</Rule>
       <Rule>text_x-c.xml</Rule>
       <Rule>audio_mpeg.xml</Rule>
       <Rule>html.xml</Rule>
   <DBUser>USER_NAME</DBUser>
   <DBPass>USER_PASSWORD</DBPass>
   <DBHost>127.0.0.1</DBHost>
   <DBName>textFiles</DBName>
   <DBDriver>com.mysql.jdbc.Driver</DBDriver>
   <SemanticDBUser>USER_NAME</SemanticDBUser>
   <SemanticDBPass>USER_PASSWORD</SemanticDBPass>
   <SemanticDBHost>127.0.0.1</SemanticDBHost>
   <SemanticDBName>SemanticNetTasks</SemanticDBName>
   <SemanticDBDriver>com.mysql.jdbc.Driver</SemanticDBDriver>
   <FileLocatorUser>USER_NAME</FileLocatorUser>
   <FileLocatorPass>USER_PASSWORD</FileLocatorPass>
   <FileLocatorHost>127.0.0.1</FileLocatorHost>
   <FileLocatorName>fileLocator</FileLocatorName>
   <FileLocatorDriver>com.mysql.jdbc.Driver</FileLocatorDriver>
   <TLBUser>USER_NAME</TLBUser>
   <TLBPass>USER_PASSWORD</TLBPass>
   <TLBHost>127.0.0.1</TLBHost>
   <TLBName>TaskList</TLBName>
   <TLBDriver>com.mysql.jdbc.Driver</TLBDriver>
   <ServerPort>9000</ServerPort>
   <TempFolder>/tmp/3s</TempFolder>

</Conf>

Конфигурирование сервисов семантической сети:

(semanticengine/semanticengine.conf.xml) <root>

    <databases>
        <object_database>
           <dbuser>USER_NAME</dbuser>
           <dbadress>127.0.0.1</dbadress>
           <dbname>textFiles</dbname>
           <dbpassword>USER_PASSWORD</dbpassword>
       </object_database>

<locator_database>

           <dbuser>USER_NAME</dbuser>
           <dbadress>127.0.0.1</dbadress>
           <dbname>SemanticNetTasks</dbname>
           <dbpassword>USER_PASSWORD</dbpassword>

</locator_database>

       <semantic_database>
           <dbuser>USER_NAME</dbuser>
           <dbadress>127.0.0.1</dbadress>
           <dbname>semnet</dbname>
           <dbpassword>USER_PASSWORD</dbpassword>
           <default_model_name>SemanticModelGenere_1</default_model_name>
       </semantic_database>
       <full_text_searcher_database>
            <dbuser>USER_NAME</dbuser>
           <dbadress>127.0.0.1</dbadress>
           <dbname>semnet</dbname>
           <dbpassword>USER_PASSWORD</dbpassword>
       </full_text_searcher_database>
   </databases>
   <servers>
       <semantic_server>
           <address>127.0.0.1</address>
           <port>9996</port>
       </semantic_server>            
       <search_server>
           <address>127.0.0.1</address>
           <port>9997</port>
       </search_server>
       <larq_server>
           <address>127.0.0.1</address>
           <port>9995</port>
           <index_dir_path>/opt/3s/larqindex</index_dir_path>
       </larq_server>
   </servers>
   <paches>
       <search_engine>
           <searh_paches>            
           <pach>
                   <pach_path>/opt/3s/plugins/FullTextSearcherPlugin.jar</pach_path>
                   <class_name>ru.dvo.searchengine.plugins.FullTextSearcherPlugin</class_name>
               </pach>                 
               <pach>
                   <pach_path> /opt/3s/plugins/SemanticNetValuesSearcherPlugin.jar</pach_path>
                   <class_name>ru.dvo.searchengine.plugins.SemanticNetValuesSearcherPlugin</class_name>
               </pach> 
           </searh_paches>
       </search_engine>
   </paches>    

</root>

Конфигурирование веб интерфейса:

Для этого необходимо установить значения контекстных параметров в файле web.xml находящемся в директории TOMCAT_HOME_DIR/webapps/WebInterface/WEB-INF/. <context-param>

       <description>Adress of the server thet provide searching </description>
       <param-name>search_server_address</param-name>
        <param-value>192.168.2.29</param-value>
</context-param>
<context-param>
       <description>Port of serching server</description>
       <param-name>search_server_port</param-name>
       <param-value>9997</param-value>
 </context-param>

Запуск системы.

Запуск системы производится выполнением следующих команд. #/etc/init.d/downloadservergetpart start #/etc/init.d/downloadserver start #/etc/init.d/metainformationserver start #/etc/init.d/semanticserver start #/etc/init.d/searcher start

Отслеживание работы системы.

Производится через просмотр лог файлов. Стандартное расположение лог файлов директория /var/log/3s. Каждому запущенному сервису соответствует два файла имя_сервиса.log для информационного вывода данного сервиса и имя_сервиса.err для вывода ошибок.