Tiedostopalvelin ftp.funet.fi - lyhyt käyttöohje

Timo Kiravuo, Nixu Oy (ex. TKK/ATK )
www.nixu.fi/~kiravuo
päivitetty 18.02.2003 / Harri Salminen, hks@nic.funet.fi

Tämän ohjeen levittäminen elektronisessa muodossa FUNET-verkon piirissä on sallittua. Muuhun käyttöön on pyydettävä lupa tekijältä.

Nic.funet.fi on CSC:n tiloissa Otaniemessä oleva SUN 450 neliprosessoripalvelin, jossa on tätä kirjoitettaessa yli 700 gigatavua levyä ja jonne on kerätty kaikenlaista mahdollista elektronista informaatiota. Päivittäin kymmenet tuhannet käyttäjät hakevat satoja tuhansia tiedostoja ja kymmeniä gigatavuja. Rakkaalla lapsella on myös monia lempinimiä kuten funic tai hamsterix ja roolinimiä kuten: www.nic.funet.fi ja ftp.funet.fi.

Alun perin tässä koneessa olleisiin palveluihin viitataan nyt roolinimillä hajautuksen helpottamiseksi. Nimet nic.funet.fi ja ftp.funet.fi tuskin kuitenkaan koskaan eroavat eri koneisiin muulloin kuin vikatilanteissa. 


        ftp.funet.fi            FTP-palvelin 
        www.nic.funet.fi        FTP-arkiston WWW-käyttöliittymä
        rsync.nic.funet.fi      rsync-palvelin (erityisesti peilaukseen)
        nic.funet.fi            Sähköposti ylläpitäjille
Jos johonkin palveluun päästäkseen käyttää "väärää" nimeä, koettaa ehkä tulevaisuussa ottaa yhteyttä koneeseen, jossa ko. palvelua ei ole... Nytkin jo pidempien käyttökatkojen aikana ftp.funet.fi ja www.nic.funet.fi voidaan ohjata varapalvelimelle, joka antaa ehkä rajallista palvelua ja katkotiedotteen, mutta nic.funet.fi:lle niin ei tehdä.

Koneen hankinnan syynä on ollut toisaaltaan se, että FUNETin Internet-verkossa ei ollut (eikä ole vieläkään) muita keskitettyjä palvelimia joissa olisi "kaikki mahdollinen" ja toisaaltaan se että yhteytemme USA:han oli hidas ja tukkoinen, joten on parempi siirtää kaikki kerran Suomeen kuin hakea monta kertaa itse kullekin halukkaalle. Kun tähän lisää itse tehdyt materiaalin organisoinnit, lopputuloksena on muodostunut yksi maailman suosituimmista (ja suurimmista) arkistoista.

Huomattavan osan talletetusta informaatiosta muodostavat eri käyttöjärjestelmille tehdyt ilmaisjakeluohjelmat ja kokonaiset käyttöjärjestelmät, joista suosituin on Linux. Ohjelmien lisäksi arkistossa on varsin hyvä kokoelma varsinkin tietoliikenteeseen ja tietojenkäsittelyyn liittyviä dokumentteja, mutta myös kaikenlaista muuta luvallisesti jaettavaksi saatua aineistoa kuten vaikkapa suomenkielinen raamattu, Tree of Life tai Maakirjakartat

Arkiston ylläpidetään pitkälti vapaaehtoisin voimin. Itse koneen koordinaattorina toimii tällä hetkellä Harri Salminen (hks@nic.funet.fi) apunaan koneen monet ohjelmat luonut Matti Aarnio (mea@nic.funet.fi). Tarkempi listaus eri alueista ja ylläpitäjien osoitteista löytyy README tiedoston alue jaottelusta.

Tiedostopalvelinta käytetään ensisijaisesti FTP-protokollan avulla. FTP merkitsee sekä TCP/IP-perheen tiedostonsiirtoprotokollaa että ohjelman nimeä (ohjelman nimi kirjoitetaan koneelle komentona annettaessa usein pienillä kirjaimilla, siis 'ftp'). Useimmat www-selaimet tukevat myös ftp tiedoston siirtoa, mutta ne usein kirjoittautuvat joka kerta uudelleen sisään, jättävät osan tärkeistä tiedotteista näyttämättä eivätkä salli ftp palvelimen erikoispiirteiden käyttöä. Seuraavassa esitellään perinteisen komentoririvi ftp-ohjelman (löytyy jossain muodossa joka unixista, Linuxista ja windowssista) käyttöä. Sen voi toki korvata jollain hienommalla ohjelmalla kuten ncftp (Unix/Linux) tai FileZilla (windows), mutta niiden käyttöohjeet saatte lukea itse. Taustalla toimii kuitenkin sama FTP-protokolla.

Yhteydenotto

Komennot

Kaikki ftp-ohjelmat eivät osaa antaa user-käskyä itse. Mikäli kone ei kysy käyttäjätunnusta automaattisesti, anna käsky:
Ja mahdollisesti vielä:

Siirto mikrolle

Mikrotietokoneille tarkoitetut ohjelmat joudutaan usein siirtämään ensin johonkin keskuskoneeseen ja sieltä erikseen mikrolle. Koska erilaisia järjestelyjä on runsas määrä eri korkeakouluissa, on tämä katsottava käyttäjän omaksi ongelmaksi, jossa paikallinen laskentakeskus auttaa. Paras vaihtoehto on suoraan verkossa kiinni oleva mikro, jolloin FTP-ohjelmaa voidaan käyttää suoraan. Toinen vaihtoehto on sarjaliikenneyhteys mikrosta johonkin suurempaan koneeseen. Molemmissa tapauksissa on muistettava erikseen asettaa binäärimoodi tiedostoa siirrettäessä. Esimerkiksi siirrettäessä tiedosto Unix-koneesta mikrolle käyttäen Kermit-protokollaa ja sarjaliikenneyhteyttä on käsky muotoa

tämän jälkeen annetaan mikron tietoliikenneohjelmalle käsky vastaanottaa Kermit-lähetys. Kermittiä käytettäessä kannattaa pakettien koko asettaa riittävän suureksi antamalla mikrossa (PC) käsky:

Tiedostopalvelimissa käytetyt pakkaustavat

Tiedostopalvelimissa on samaan aiheeseen liittyvät tiedostot yleensä pakattu yhteen tiedostoon arkistoksi. Tällöin on mahdollista siirtää kokonainen hakemistorakenne yhtenä tiedostona. Useimmissa menetelmissä on mukana myös tarkistussumma, jonka avulla voidaan varmistaa että arkisto ei muutu siirrettäessä.

Yhteen pakkaamisen lisäksi tiedostot usein tiivistetään käyttämällä jotain kompressointitekniikkaa. Pakkaaminen ja tiivistäminen voidaan tehdä joko yhdellä ohjelmalla tai käyttämällä erillisiä ohjelmia.

Unix-maailmassa tiedostot on perinteisesti pakattu yhteen Tar- ohjelmalla ja sitten tiivistetty Compress-ohjelmalla. Compress-ohjelman sijaan käytetään nykyään paljon myös GnuZip-ohjelmaa (ei sukua PC-mailman PKZip-ohjelmalle.)

Compress-ohjelmalla pakatun tiedoston tunnistaa siitä että se päättyy .Z-liitteeseen. purkaminen tapahtuu Uncompress-ohjelmalla kirjoittamalla

. Gzipatut tiedostot puolestaan päättyvät yleensä .gz, .z tai .tgz päätteeseen ja avautuvat vastaavasti komennolla

Tar-arkistojen tunnuksena on .tar-pääte nimessä (tar.gz == .tgz). Tar-pakkaus puretaan käskyllä

Tiedosto jonka nimi päättyy .tar.Z-liitteeseen on pakattu Tar- ohjelmalla ja sitten tiivistetty Compress-ohjelmalla. Se voidaan joko purkaa ensin Uncompress-ohjelmalla ja sitten Tar-ohjelmalla tai levytilaa säästäen käskyllä

Nämä toimivat useimmissa Unix-installaatioissa: 
        nimen pääte     purkukäsky

        .Z              uncompress tiedosto.Z
        .tar            tar -xf tiedosto.tar 
        .tar.Z          zcat tiedosto.tar.Z | tar -xf -
	.gz             gunzip tiedosto.gz
	.tgz            gunzip -c tiedosto.tgz | tar -xf -
	.tar.gz         gunzip -c tiedosto.tar.gz | tar -xf -
Unix-koneissa nämä ohjelmat tulevat yleensä käyttöjärjestelmän mukana.

MS-DOS-maailmassa on lukuisia pakkausohjelmia. Tällä hetkellä suosituimpia ovat Pkzip ja Lha. Lisäksi on olemassa uusi tulokas Arj, sekä vanhemmat Zoo ja Arc. Nämä kaikki ohjelmat sekä pakkaavat tiedostot yhteen, että tiivistävät ne, tiedoston kerrallaan. Vastaavat päätteet ovat .zip, .lzh ja .lha, .arj, .zoo ja .arc.

Funicissa on käytetty aikaisemmin Lha-ohjelmaa, joka on saatavilla hakemistosta pub/msdos/packing/arc-lbr itsepurkautuvana tiedostona. Sittemmin on kuitenin siirrytty Pkzip-ohjelmaan, jonka voi hakea hakemistosta pub/msdos/starter. 

        nimen pääte     purkuohjelma
        .lzh            Lha
        .lha            Lha
        .zip            Pkunzip
        .arc            Arc
        .arj            Arj
        .zoo            Zoo
Macintosheissa tiedostot on usein tiivistetty ja pakattu Stuffit-ohjelmalla .sit.bin tai .sit -päätteisiksi tai Compactor-ohjelmalla .cpt -päätteisiksi arkistoiksi. On myös itsestään purkautuvia ohjelmia, jotka ovat .sea-päätteisiä. BinHexillä koodatut tiedostot ovat .hqx-päätteisiä ja niitä voi siirtää myös sähköpostin kautta. Siirrettäessä arkisto koneesta toiseen on käytettävä binäärimoodia, siirrettäessä Macciin on Macintoshin päässä valittava MacBinary. 

        nimen pääte     purkuohjelma 
        .sit.bin        Stuffit, Compact Pro, Stuffit Expander
        .sit            Stuffit, Compact Pro, Stuffit Expander
        .hqx            BinHex, Compact Pro, Stuffit Expander
        .sea            itsestään purkautuva
        .cpt            Compactor, Stuffit Expander
Tarkempia tietoja eri pakkaustavoista ja niiden purkuohjelmista löytää esimerkiksi tiedostosta README.FILETYPES

Ongelmia?

Jos www-selaimella yhteys ei tunnu muodostuvan eikä selkeää virheilmoitustakaan tule kannattaa kokeilla erillistä ftp ohjelmaa. Jos silläkin sisääkirjoittautuminen epäonnistuu ja ensimmäisellä "220 Hello jotain at jossain" rivillä sanan jossain kohdalla ei olekaan koneenne nimeä vaan neljä pisteellä erotettua numeroa niin vika voi olla esimerkiksi käänteisnimipalvelussanne, jonka korjaamiseen tarvitaan ylläpitäjienne apua. Kts. tarkemmin tiedosto README.IP-REVERSAL

Yhteydenottoa ja tiedostojen siirtoa omasta koneesta mikrolle koskevissa ongelmissa kannattaa ottaa yhteyttä paikalliseen (oman korkeakoulun) Internet-tukihenkilöön, koska hän todennäköisesti tietää asiasta enemmän kuin nicin ylläpito. Selvityksessä tarvittavia tietoja ovat mm. käytetyn koneen internet osoite, käyttöjärjestelmä ja ohjelmisto. Parhaiten voitte auttaa ylläpitoa ongelman selvityksessä ottamalla talteen epäonnistuneen yrityksen kaikkine ilmoituksineen, jollei tukihenkilöä saada käymään paikan päällä. Jos ongelma ei tukihenkilön avullakaan selvinnyt niin tarkan lokin tai kuvauksen ongelmasta voi lähettää osoitteeseen problems@nic.funet.fi tarkempaa analyysia varten.

Itse palvelinta koskevissa kysymyksissä kannattaa ottaa yhteyttä ehkä ensisijaisesti siihen henkilöön joka Nicissä omistaa kyseisen tiedoston (näkyy dir-komennolla). Useimmilla alueilla on myös omat @nic.funet.fi postituslistansa, tässä eräitä tärkeimpiä: 

        managers   Pääylläpitäjä
        maints     Kaikki ylläpitäjät
        problems   Vikailmoitukset palvelimen toiminnasta

        csc-adm    CSC:n alue
        gnu-adm    GNU-projekti
        languages-adm  Ohjelmointikielet
        mac-adm    Macintoshit
        molbio-adm Molekyylibiologia
        msdos-adm  MS-DOS
        amiga-adm  Amiga
        sci-adm    Tieteisiin liittyviä asioita
        unix-adm   Unix
        linux-adm  Linux
Muiden yhteystiedot löytyvät joko README tiedostosta tai tiedoston omistajan tai ryhmätietojen perusteella. Jos ei muuta löydy, niin postia voi aina lähettää /pub/ alihakemistojen nimen perusteella muodostettuihin -adm osoitteisiin (esim. /pub/CPAN -> cpan-adm)

Haluatko itse jakaa jotain?

Mikäli haluat levittää jotain yleisemmin (ja tekijänoikeus sallii sen) riittää yleensä että kopioit sen jonkin sopivan alueen 'incoming'-hakemistoon ja ilmoitat asiasta asianomaisen alueen ylläpitäjälle. Esimerkiksi jos olet tehnyt uuden hienon Perl ohjelman, pakkaa se ensin jollain yleisellä pakkausohjelmalla ja kopioi sitten Nicciin: 
        ftp ftp.funet.fi
        anonymous
        Arvo.Avoin@univ.fi
        cd pub/languages/incoming
        bin
        put foffan.pl
        quit
Sitten lähetä postia ylläpidolle ja kerro mitä kopioit: 
        mail languages-adm@nic.funet.fi
        Subject: Foffan upload

        Olen kopioinut itse tekemäni Foffan-kielen tulkin
        pub/languages/incoming-hakemistoon. Ohjelman kuvaus:

        Simple Foffan interpreter 
        
        Arvo Avoin
        Suomen Korkeakoulu
        Arvo.Avoin@univ.fi
Lisää tietoja löytyy tiedostosta README.UPLOADER, Nicin päätasolla.

Vinkkejä

Useimmissa Unix-järjestelmissä get-käskyn hakema tiedosto voidaan ohjata myös putkeen suoraan FTP-ohjelmasta: eli get-käskyn toinen argumentti voidaan korvata Unixin putkella ja täten saada tiedosto esimerkiksi tulostumaan näytölle. Vastaavasti voidaan käyttää käskyä: jolloin tiedostosta 00README etsitään rivejä joilla mainitaan VMS- käyttöjärjestelmän nimi ja tulos tulostetaan näytölle ruutu kerrallaan.

Vastaavasti hakemistolistauksen voi sivuttaa käskyllä

'get'-komennon lisäksi on olemassa komento 'mget', joka hakee useita tiedostoja korvausmerkkien avulla, esim. hakee kaikki tiedostot joiden nimessä esiintyy teksti 'foo'. Joissakin ympäristöissä (ainakin Unix) mget kysyy jokaisen tiedoston kohdalla erikseen halutaanko se vai ei, tästä päästään eroon antamalla komento 'prompt' ennen 'mget'-komentoa.

FTP-palvelimessa olevat tiedostot on usein tapana ilmoittaa seuraavassa muodossa:

Eli koneen nimi kaksoispisteellä erotettuna hakemistopolusta ja tiedoston nimestä, pub:in eteen ei tule kauttaviivaa (Unixin hakemis- toeroitin).

Eräät ftp-palvelimet kuten ftp.funet.fi tunnistavat myös käyttäjätunnuksen 'ftp' tunnuksen 'anonymous' lisäksi.

Käyttöesimerkki

Seuraavassa tyypillinen istunto, FTP:n ja vastapään tulostamia tekstejä on typistetty reippaasti. Vaikka esimerkkituloste onkin jo historiallinen, komennot ovat edelleen toimivia. 

hila ~ 151: ftp ftp.funet.fi
Connected to nic.funet.fi.
220 nic.funet.fi FTP server (Version 4.494 ...
Name (nic.funet.fi:kiravuo): anonymous
331 Guest login ok, give your email address for password.
Password:kiravuo@hut.fi  (ei tulostu näytölle) 

230-Guest login ok, access restrictions apply.
230-There are 15 active foreign anonymous customer(s) presently out of max 16. 
230-Local time is now Tue Oct 29 18:24:05 1991
230- 
230- There are constant overload problems on our line to USA...
230- Be careful with "cd ..".  See  /README for info about how
230- symlinks might affect your view of, and movement in archive.
230-
230-We have special access features, see file /README
230 It was last updated Fri Oct 25 14:23:21 1991 - 4.2 days ago

ftp> cd pub
ftp> cd msdos
ftp> dir . "|more"
-rw-rw-r--  2 msdos1    ftp         397762 Oct 28 08:11 00Index.all 
-rw-rw-r--  1 msdos1    ftp           2964 Aug 28 13:29 00Readme
-rw-rw-r--  1 msdos1    ftp         401416 Oct 28 08:11 0Contents.info 
-rw-rw-r--  2 msdos1    ftp         602636 Oct 28 08:07 0Dir.lst
-rw-rw-r--  2 msdos1    ftp           5800 Oct 28 08:10 0Newest.100 
-rw-rw-r--  1 msdos1    ftp         427634 Oct 28 08:10 0Newest.1st 
-rw-rw-r--  1 msdos1    ftp         602636 Oct 28 08:07 0Sorted
drwxrwxr-x  2 msdos1    ftp           2560 Oct 28 08:58 Anonymous.FTP 
drwxrwxr-x  9 msdos1    ftp            512 Oct 28 06:51 Finnish
        ...

ftp> get 0Contents.info "|grep -i spool"
dvp101.lzh      Print spooler for use in DESQview
dvps1.lzh       Full featured print spooler for DESQview
tpspool.lzh     Put printer output to a file (TP source only)
vol10n01.lzh    PC Mag: MAKECLIP,MAKEFOX,INT9,BIOSDATA,PCSPOOL
dmp205.lzh      Resident print spooler, spools to disk, memory
lpr_q.lzh       LPR & LPQ spool print & show queue
spooler.lzh     Dynamic print spooler uses EEMS (LIM 3.2/4.x)
spoolg.lzh      Fast print spooler
spoolrii.lzh    Background print spooler

ftp> quote find vol10n01.lzh
212-Matching case insensitively expr `vol10n01.lzh'
212-Starting to parse /files/ALL_FILES database:
        -  120836 Dec 31 14:46 1990 pub/msdos/magazines/pcmag/vol10n01.lzh 212 
End of analysis.  1 matches found out of 86247.

ftp> cd magazines
ftp> cd pcmag
ftp> bin
ftp> get vol10n01.lzh
local: vol10n01.lzh remote: vol10n01.lzh
120836 bytes received in 1.1 seconds (1e+02 Kbytes/s)

ftp> quit
221 Goodbye.

hila ~ 152: kermit -is vol10n01.lzh 
Escape back to your local system and give a RECEIVE command...

HTML-muotoon muuttanut <kako@cs.hut.fi>
Oikeudet omistaa <kiravuo@hut.fi> (Muutokset HKS)