====== Upgrades von Shibboleth IdP 4.x ======

<callout color="#ff9900" title="Empfehlung: Neuinstallation der Version 4.1.x">
Es ist möglich, wie gewohnt auf die Version 4.1.x zu aktualisieren. Ab 4.1.x enthält der IdP jedoch einige grundsätzliche Änderungen und viele Vereinfachungen. **Das Aufräumen einer aktualisierten Installation ist sehr [[https://wiki.shibboleth.net/confluence/display/KB/Example+4.1+Upgrade|kleinteilig]]**, fehleranfällig und aufwändig. Wir empfehlen daher, die Version 4.1.x neu aufzusetzen.
</callout>

===== Vortrag =====
Hier können Sie unseren **Vortrag "Upgrade auf Shibboleth IdP 4.0.x"** vom **17.11.2020** anschauen oder sich die {{ :de:idp4:idp4-upgrade.pdf |Folien }} herunterladen. Zu dem Zeitpunkt war der **IdP 4.1.x noch nicht erschienen**. Die Themen:
  * Intro (bis Minute 3:00)
  * Allgemeine Neuerungen im IdP 4.0.x (3:00 - 7:16)
  * Neuerungen, die nur auf neu installierten 4er IdPs aktiv sind (7:16 - 13:42)
    * Die Attribute Registry (13:42 - 21:53)
    * Attribut-Export aus Data Connectors (21:53 - 23:17)
  * Vorstellung der neuen Attribute SAML Subject ID und SAML Pairwise ID (23:17 - 31:17)
  * Vorgehensweise beim Upgrade (31:17 - 36:35) (siehe auch unten auf dieser Seite) 
  * Wann empfehlen wir eine Neuinstallation? (36:35 - 39:10)
  * Ausblick auf Shibboleth 4.1 (ab 39:10)
Die Aufzeichnung enthält Kapitelmarken, mit denen Sie in einem geeigneten Player springen können.

{{ :de:idp4:idp_upgrade.mp4 |}}


===== Ihre Anpassungen und IdP-Upgrades =====
Dateien in folgenden Ordnern werden bei Upgrades nicht überschrieben: ''./conf'', ''./views'', ''./messages'' und ''./edit-webapp''. Hier sollten Sie also Ihre Konfigurationen, Views oder Templates untergebracht haben.

===== Mitpflegen der Konfiguration im IdP 4.x =====

==== Auslagern von Secrets (empfohlen) ====

In einer Neuinstallation von Shibboleth IdP 4.x werden IdP-interne Secrets in der separaten Datei  ''secrets.properties'' gespeichert. Informationen wie LDAP-Bind- oder Datenbank-Credentials sind durch die Zugangsbeschränkungen dieser neuen Datei besser geschützt. Wir empfehlen, das auch bei aktualisierten IdPs nachzuziehen und die entsprechenden Informationen aus ''idp.properties'', ''ldap.properties'' oder ''global.xml'' auszulagern.

  - Verlinken Sie die neue Datei als zusätzliche Konfigurationsdatei ganz oben in ''idp.properties'', hier an letzter Stelle: <file properties conf/idp.properties>
idp.additionalProperties=/conf/ldap.properties, /conf/saml-nameid.properties, /conf/services.properties, /conf/authn/duo.properties, /credentials/secrets.properties
</file>
  - Erstellen Sie die neue Datei ''/opt/shibboleth-idp/credentials/secrets.properties'' mit folgenden Parametern (und ggf. weiteren aus Ihrer IdP-Konfiguration): <file properties /opt/shiboleth-idp/credentials/secrets.properties>
# Access to internal AES encryption key
idp.sealer.storePassword = <YOUR-SECRET-HERE>
idp.sealer.keyPassword = <YOUR-SECRET-HERE>

# Default access to LDAP authn and attribute stores. 
idp.authn.LDAP.bindDNCredential              = <YOUR-LDAP-BIND-CREDENTIAL-HERE>
idp.attribute.resolver.LDAP.bindDNCredential = %{idp.authn.LDAP.bindDNCredential:undefined}

# Salt used to generate persistent/pairwise IDs, must be kept secret
idp.persistentId.salt = <YOUR-VERY-LONG-HASH-HERE>

# Access to MySQL database
mysql.password = <YOUR-MYQSL-PASSWORD-HERE>
</file>
  - Schützen Sie die Datei:<code>root@idp:~# chown root:tomcat /opt/shibboleth-idp/credentials/secrets.properties
root@idp:~# chmod 640 /opt/shibboleth-idp/credentials/secrets.properties</code>

==== Aktualisierung des Verschlüsselungsalgorithmus ====
Ein von 3.4.x aktualisierter Shibboleth-IdP verhält sich in Bezug auf den gewählten Verschlüsselungsalgorithmus so wie vor dem Upgrade. Der Algorithmus, der bisher zum Einsatz kam, gilt jedoch nicht mehr als sicher. Bitte schauen Sie sich die unter [[de:shibidp:config-encryption|Konfiguration des Verschlüsselungsalgorithmus]] gezeigten Möglichkeiten an. Wir zeigen dort einen empfohlenen Weg mit dem neueren Algorithmus AES-GCM und Ausnahmen für SPs, die den Algorithmus noch nicht kennen.

==== Umstellung auf die Nutzung der Attribute Registry (empfohlen) ====

Ab der Version 4.x kommt der IdP mit der neu eingeführten [[https://shibboleth.atlassian.net/wiki/spaces/IDP4/pages/1272054306/AttributeRegistryConfiguration|Attribute Registry]]. Sie können Ihre Datei ''conf/attribute-resolver.xml'' deutlich vereinfachen, wenn Sie auf die Registry umstellen. Außerdem bietet der IdP dann die Möglichkeit, Attribute direkt zu nutzen (zu "exportieren"), die in Ihrem IdM dieselbe ID haben wir in der Attribute Registry. Dadurch können Sie eventuell etliche Attributdefinitionen komplett loswerden. Die Schritte:
  * Alle im Resolver definierten Attribute, die nach außen übermittelt werden sollen (die also nicht nur eine Dependency für eine andere Attributdefinition sind), müssen in der Attribute Registry (unterhalb von ''conf/attributes'' existieren. In der Registry müssen die jeweiligen Transcoding-Regeln und Kurzbeschreibungen stehen. Ist dies der Fall, können Sie die Transcoding-Regeln und Kurzbeschreibungen aus dem Resolver entfernen ([[de:shibidp:config-attributes-aaiplus|Beispiele]]).
  * Wenn Sie beim DataConnector "exportAttributes" nutzen, müssen Sie sicherstellen, dass bei allen Attributdefinitionen, die von diesen "exportierten" Attributen abhängen, jetzt InputDataConnector statt InputAttributDefinition stehen muss.
  * Aktivieren Sie die Registry verwenden soll, indem Sie ''conf/services.xml'' editieren und folgenden Abschnitt shibboleth.AttributeRegistryResources einkommentieren:<file xml /opt/shibboleth-idp/conf/services.xml>    <util:list id ="shibboleth.AttributeRegistryResources">
        <value>%{idp.home}/conf/attribute-registry.xml</value>
        <value>%{idp.home}/conf/attributes/default-rules.xml</value>
        <value>%{idp.home}/conf/attribute-resolver.xml</value>
    </util:list>
</file>

==== Deprecation Warnings ab 4.0.1 ====

Direkt nach der Aktualisierung auf einen 4.xer IdP erscheinen im Log neue Deprecation Warnings. Wir empfehlen, sie über die Minor Updates hin gleich zu bearbeiten. Hier finden Sie fortlaufend die Einstellungen, die ab 4.x abgekündigt sind.

=== attribute-resolver.xml ===
  * Das XML-Attribute ''failfastInitialize'', das zuvor unterhalb des ConnectionPool konfiguriert wurde, wird jetzt direkt beim DataConnector eingestellt.<file xml conf/attribute-resolver.xml>
    <DataConnector id="myLDAP" xsi:type="LDAPDirectory"
        ldapURL="%{idp.attribute.resolver.LDAP.ldapURL}"
        baseDN="%{idp.attribute.resolver.LDAP.baseDN}"
        principal="%{idp.attribute.resolver.LDAP.bindDN}"
        principalCredential="%{idp.attribute.resolver.LDAP.bindDNCredential}"
        useStartTLS="%{idp.attribute.resolver.LDAP.useStartTLS:true}"
        connectTimeout="%{idp.attribute.resolver.LDAP.connectTimeout}"
        trustFile="%{idp.attribute.resolver.LDAP.trustCertificates}"
        responseTimeout="%{idp.attribute.resolver.LDAP.responseTimeout}"
        failFastInitialize="%{idp.pool.LDAP.failFastInitialize:false}">
        <FilterTemplate>
            <![CDATA[
                %{idp.attribute.resolver.LDAP.searchFilter}
            ]]>
        </FilterTemplate>
        <ConnectionPool
            minPoolSize="%{idp.pool.LDAP.minSize:3}"
            maxPoolSize="%{idp.pool.LDAP.maxSize:10}"
            blockWaitTime="%{idp.pool.LDAP.blockWaitTime:PT3S}"
            validatePeriodically="%{idp.pool.LDAP.validatePeriodically:true}"
            validateTimerPeriod="%{idp.pool.LDAP.validatePeriod:PT5M}"
            expirationTime="%{idp.pool.LDAP.idleTime:PT10M}"/>
    </DataConnector>
</file>

=== attribute-filter.xml ===
  * Das XML-Element ''ignoreCase'' wird ersetzt durch ''caseSensitive''. Um die gleiche Aussage zu erhalten, geben Sie statt ''ignoreCase='true' '' jetzt ''caseSensitive='false' '' ein. Ein Beispiel aus den Filter Policies (dasselbe kann auch im Attribute Resolver vorkommen): <file xml conf/attribute-filter.xml>
<AttributeFilterPolicy id="LibraryTermsToAnyone">
  <PolicyRequirementRule xsi:type="ANY" />
  <AttributeRule attributeID="eduPersonEntitlement">
    <PermitValueRule xsi:type="Value" value="urn:mace:dir:entitlement:common-lib-terms"/>
  </AttributeRule>
  <AttributeRule attributeID="eduPersonScopedAffiliation">
    <PermitValueRule xsi:type="OR">
      <Rule xsi:type="Value" value="member"                caseSensitive="false"/>
      <Rule xsi:type="Value" value="library-walk-in"       caseSensitive="false"/>
    </PermitValueRule>
  </AttributeRule>
</AttributeFilterPolicy>
</file>

==== Deprecation Warnings ab 4.1.0 ====
  * Der ''xsi:type="SAML2NameID"'' im Attribute Resolver wird für das nächste Major Release abgekündigt. Sie sehen die Warnung, wenn Sie das veraltete Attribut ''eduPersonTargetedID'' im Resolver definiert haben. Bitte **ignorieren** Sie die Warnung vorerst. Sehr viele Service Provider verlangen das Attribut nach wie vor.<code>WARN [DEPRECATED:125] - xsi:type 'SAML2NameID', (file [/opt/shibboleth-idp/conf/attribute-resolver.xml]): This will be removed in the next major version of this software; replacement is (none)</code>

==== Automatische Suche nach ''.properties''-Dateien ====
  * In ''conf/idp.properties'' können bzw. sollten Sie ab Version 4.1.x die folgende Zeile einfügen, damit der IdP alle Properties-Dateien unterhalb des ''conf''-Ordners einliest, ohne, dass Sie sie einzeln angeben müssen:<code properties>idp.searchForProperties=true</code>

==== Prüfen der dfnMisc.xml ab 4.2.0 ====
Vor der Version 4.2.0 liefert der IdP die Transcoding-Regeln und die Bezeichnungen / Beschreibungen der Attribute aus dem schac-Schema nicht mit. Wir hatten zu der Zeit eine Datei ''dfnMisc.xml'' erstellt, die die gängigsten schac-Attribute und einige andere in der DFN-AAI verbreitete Attribute für die Attribute Registry des IdP zusammenstellten. Ab der Version 4.2.0 kam der IdP mit einer eigenen ''schac.xml''-Datei im Ordner ''conf/attributes/''. Prüfen Sie beim Upgrade Ihre ''dfnMisc.xml''. Dopplungen zwischen ihr und der ''schac.xml'' führen zu doppelten Attributen, was zu vermeiden ist. Ersetzen Sie bei Bedarf die ''dfnMisc.xml'' mit der [[de:shibidp:dfn_misc_transcoder|aktuelleren Version]].

====== Upgrades innerhalb der Produktlinie IdP 4.x ======
Laut [[https://wiki.shibboleth.net/confluence/display/IDP4/Upgrading|Shibboleth-Wiki]] werden die Minor- oder Patch-Updates jeweils über die laufende IdP-Version drüber installiert:
  * Sie laden dazu die [[http://shibboleth.net/downloads/identity-provider/latest/|neueste IdP-Version]] herunter (unter Linux standardmäßig nach ''/opt/install'') und entpacken sie.
  * Dann führen Sie das interaktive Installationsskript erneut aus. Wichtig ist, dass Sie als Zielverzeichnis das Verzeichnis der laufenden Installation angeben, z.B. ''/opt/shibboleth-idp'' unter Linux. Unter Linux ist außerdem zu beachten, dass beim Upgrade die Schreib-/Leseberechtigungen korrekt gesetzt werden (Parameter'' -Didp.conf.filemode=644'' beim Aufruf von ''./bin/install.sh'').<code>root@idp:/opt/install/shibboleth-identity-provider-4.1.4# ./bin/install.sh  -Didp.conf.filemode=644
Buildfile: /opt/install/shibboleth-identity-provider-4.1.4/bin/build.xml

install:
Source (Distribution) Directory (press <enter> to accept default): [/opt/install/shibboleth-identity-provider-4.1.4] ? 

Installation Directory: [/opt/shibboleth-idp] ? 

INFO [net.shibboleth.idp.installer.V4Install:155] - Update from version 4.1.3 to version 4.1.4
INFO [net.shibboleth.idp.installer.BuildWar:72] - Rebuilding /opt/shibboleth-idp/war/idp.war, Version 4.1.4
INFO [net.shibboleth.idp.installer.BuildWar:81] - Initial populate from /opt/shibboleth-idp/dist/webapp to /opt/shibboleth-idp/webpapp.tmp
INFO [net.shibboleth.idp.installer.BuildWar:90] - Overlay from /opt/shibboleth-idp/edit-webapp to /opt/shibboleth-idp/webpapp.tmp
INFO [net.shibboleth.idp.installer.BuildWar:99] - Creating war file /opt/shibboleth-idp/war/idp.war

BUILD SUCCESSFUL
Total time: 42 seconds
</code>

====== Upgrade-Anleitung mit manueller Tomcat-Installation ======
Die Kollegen von der Charité Berlin haben eine Anleitung für Ubuntu 18.04 verfasst, in der sie den Tomcat9 manuell installieren: Vielen Dank an Mario Severing für's Teilen!
  * {{ :de:shibidp:upgrade_3.4.6_to_4.0.1-versiondfn.txt | Upgrade von Tomcat8 auf Tomcat9 und von Shibboleth 3.4.x auf 4.x}}
  * {{ :de:shibidp:neue_tomcat_version-version_wikki.txt | Upgrade des manuell installierten Tomcat9 auf eine neuere Version}}