вторник, 12 мая 2015 г.

Автоматический деплоймент своими руками

Задачу автоматического деплоймента можно решить множеством способов - уже существует большой набор компонентов и готовых решений для этих целей. К примеру можно использовать Octopus Deploy или TeamCity. Такой выбор оправдан для средних и больших проектов, но достаточно монстроидный для мелких проектов.
Если процесс деплоймента - это копирование определенных бинарных файлов в некую папку на диске, то достаточно написать скрипт который будет выполнять это копирование, и если нужно - выполнять дополнительные действия.
Расмотрим пример, когда билд собирается на TeamCity и билд доступен на скачивание в архиве. 
Задача, которая стоит перед нами - сделать деплоймент билда на нужную машину автоматически (скриптом). Автоматизировать можно скачивание, распаковку архива и копирование файлов. Разберем эти шаги по-порядку.

1. Формирование URL для доступа к артифактам билда.
TeamCity, предоставляет удобный и обширный REST API, которым мы будем пользоваться. Ниже немного базовой информации о тех возможностях API, которые нам пригодятся для нашей задачи.
TeamCity REST API поддерживает:
  • Basic HTTP аутентификацию:
    http://<user>:<password>@TeamCityServer:9090/httpAuth/<path>
    Где <user> и <password> - имя пользователя и его пароль, зарегестрированный в TeamCity.
  • Гостевой доступ:
    http://TeamCityServer:9090/guestAuth/<path>
Структура URL в REST API:
http://TeamCityServer:port/<authType>/app/rest/<entity>
  • TeamCityServer - указывает хост сервера, который использует TeamCity
  • port - указывает порт
  • authType - тип аутентификации (возможные варианты httpAuth и guestAuth)
  • entity - указывает сущность, которую необходимо вернуть
После того как мы познакомились с основами формирования URL, очертим более детально сценарии которые могут нам понадобится. Вероятнее всего нам может понадобится установить билд заданной версии и последний успешный билд, а также версию последнего успешного билда. Для доступа к таким артифактам используем следующие URL:
  • доступ к указанному билду по номеру:
     http://TeamCityServer:port/<authType>/repository/download/ <buildConfigurationId>/<BUILD_NUMBER>/<ARTIFACT_PATH>
  • доступ к последнему успешному билду:
    http://TeamCityServer:port/<authType>/repository/download/ <buildConfigurationId>/.lastSuccessful/<ARTIFACT_PATH>
  • получить версию последнего успешного билда:
    http://TeamCityServer:port/<authType>/app/rest/buildTypes/id:<buildConfigurationId>/builds/status:SUCCESS/number
Пример:
Формируем URL для скачивания артифактов BuildResults.zip  последнего успешного билда с сервера TeamCityServer:9090, идентификатор конфигурации - TestProject_TestConfiguration. Для доступа к серверу используем пользователя с именем TestUser и паролем TestUserPass:
http://TestUser:TestUserPass@TeamCityServer:9090/httpAuth/repository/ download/TestProject_TestConfiguration/.lastSuccessful/BuildResults.zip

Больше деталей по доступу к артифактам билдов можно найти по этот ссылке.

2. Скачивание архива с сервера TeamCity.
Для скачивания файлов, и в целом для работы с протоколами, использующими URL, существует свободная, кросплатформенная, консольная утилита cURL. Утилита позволяет автоматизировать передачу данных и автоматизировать работу пользователя с Web-браузером.
В контексте нашей задачи, cURL можно использовать как утилиту для скачивания файла по сформированному ранее URL.
curl -o Artifacts.zip http://<server>/<filePath> 
3. Распаковка архива
Для распаковки скачанного архива можно использовать консольный архиватор 7zip, который распространяется по лицензии GNU LGPL и поддерживает большинство современных форматов архивов. Отличная утилита для наших целей.
Команда:
7za e BuildArtifacts.zip -o "Output Directory" -y
распаковывает архив в указанную директорию, и заменяет все файлы в ней на новые

4. Готовый batch-скрипт
Собрав все шаги воедино, получим готовый скрипт:
cls
@echo off
set buildNumber=%1
rem define credentials
set user=testUser
set password=testUserPass
set host=TeamCityServer
set port=9090
rem define url prefix
set urlPrefix=http://%user%:%testUserPass%@%host%:%port%/httpAuth

if NOT [%buildNumber%]==[] set fullBuildNum=1.2.100.%buildNumber%
if NOT [%buildNumber%]==[] GOTO RUN 
echo Getting the latest successful version

.\tools\curl -s  %urlPrefix%/app/rest/buildTypes/id:TestProject_TestConfiguration/builds/ status:SUCCESS/number > latestVer.txt

set /p fullBuildNum=<latestVer.txt

echo The latest successfull version is %fullBuildNum%
:RUN

echo ----
echo Downloading build %fullBuildNum%.zip
echo ----
.\tools\curl -o %fullBuildNum%.zip %urlPrefix%/repository/download/TestProject_TestConfiguration/ %fullBuildNum%/%fullBuildNum%.zip

xcopy %fullBuildNum%.zip ".\.artifacts\*" /Y
del %fullBuildNum%.zip /F

echo ----
echo Extracting build %fullBuildNum%.zip
echo ----
.\tools\7za e .\.artifacts\%fullBuildNum%.zip -o"c:\DeploymentDir" -y

echo ----
echo Build %fullBuildNum%.zip installed
echo ----

четверг, 7 мая 2015 г.

Что делать если нужно найти дубликаты в коде C# \ VB.NET?


На работе мне поставили задачу изучить иходный код приложения и вынести вердикт по его качеству. 
Код, как положено, старый и написаный специалистами не-.NET технологий. Качество, естественно, страдает (а покажите мне двух программистов, которые не найдут за что покритиковать код друг друга). Качество кода имеет несколько характеристик и, может быть описано в формально с помощью метрик. Одна из метрик, которую я выбрал для анализа - количество дубликатов в коде. Возник вопрос как сделать поиск дубликатов в коде и какие инструменты для этого использовать? Особенно удачно поиск дубликатов реализован в TeamCity  в одном из стандартных билд шагов. Именно такой поиск дубликатов и нужен был. 
Поиск по интернетам навел меня на запись в блоге JetBrains про ReSharper Command Line Tools - бесплатный набор полезных дополнений к ReSharper'у. Этот набор утилит был выпущен вместе с ReSharper 8 и неплохо его дополняет. 
Общий синтаксис запуска утилиты:
dupFinder [OPTIONS] source
В качестве источника для анализа можно указать как C# так и VB файлы. Для анализа можно указать файлы проекта *.csproj \ *.vbproj, файлы решения *.sln, непосредственно файлы с кодом *.cs \ *.vb и путь (как относительный так и абсолютный) к директории в которой находятся файлы с исходным кодом.

Опций для запуска утилиты достаточно много, остановлюсь на самых важных, на мой взгляд.

  • /help - ключ, который покажет список доступных параметров запуска
  • /config - для указания пути к файлу с настройками запуска утилиты. Удобно для многократного запуска или в случае если нужно иногда менять настройки без изменения аргументов командной строки
  • /config-create - этот ключ создает файл конфигурации с аргументами заданными при запуске. Может быть удобно для создания первичной конфигурации с последющим ее редактированием в текстовом редакторе.
  • /exclude - исключает поиск дубликатов в указанных файлах. Файлы могут быть заданы с помощью wild-cards. Путь к исключенным файлам может быть как абсолютным так и относительным
  • /discard-fields, /discard-literals, /discard-local-vars, /discard-types - исключить из анализа одинаковые строки в которых используются разные поля, литералы, локальные переменные и классы. Если 2 класса содержат одинаковый набор строк и при это имеют разные названия, они тоже будут исключены из рассмотрения. По умолчанию все эти опции отключены.
  • /discard-cost - не рассматривать код как дубликат, если сложность кода меньше определенного порога. Этой опцией можно задать такой порог (значение по умолчанию - 70). Если посчитанное значение Code Complexity будет неже указанного значения, код не будет считаться дубликатом. Опция может быть удобна для случаев, когда много раз повторяется одинаковая строка, например Assert.AreEqual(targetValue, "true"); Значение сложности стоит подбирать эмпирически для каждого проекта
  • /show-text - показывать в отчете дублирующиеся строки
  • /output - путь к файлу, куда будет сохранены результаты работы утилиты
Пример запуска утилиты для анализа дубликатов:
dupFinder.exe /discard-literals=true /o="report.xml" /discard-cost=50 "C:\src\MySolution.sln"