05.12.2016 Tarbijakaitseamet ja Andmekaitse Inspektsioon viisid 2016. aastal läbi ühisseire. Selle käigus vaadeldi isikuandmete töötlemist kümnes suure kasutajaskonnaga Eesti mobiilirakenduses. Kõigil kontrollitud rakendustest esines suuremal või vähemal määral puudusi isikuandmete töötlemise osas. Peamise probleemina selgus, et tihtilugu küsib rakendus igaks juhuks luba rohkematele andmetele kui tegelikult rakenduse kasutamiseks vajalik on.

04.12.2016 Iseseisva töö andmebaasirakenduse loomise vahendi valikul on järgnevad piirangud.

1. Loodud rakendus peab kasutama apex.ttu.ee serveris olevat andmebaasi.
2. Serverirakenduse korral peab teil peab olema keskkond, kus seda käitada.
   • apex.ttu.ee serveris on PHP (5.5.3), pgApex, Oracle APEX (4.2).
   • Väljaspool ülikooli võrku oleva rakenduse korral peate apex.ttu.ee serveriga looma SSH ühenduse.
3. Rakendust peab olema võimalik õppejõule demonstreerida. Üldiselt ei ole vaja tulla projekti, sh rakendust isiklikult ette näitama. Sellele tingimusele on järgmised erandid, mille korral on vaja tulla rakendust eksamisessiooni ajal vastuvõtuajal ette näitama. Projekti tulemuse saab teada alles peale seda kohtumist. Vastuvõtule tulek on vaja eelnevalt e-meili teel registreerida.
   • Kui rakenduse kasutamine eeldab kasutaja arvutisse lisaks PostgreSQL ODBC draiverile või MS Accessile täiendava tarkvara installeerimist.
   • Kui serverirakenduse poolt andmebaasisüsteemiga ühenduse loomine ei õnnestu (nt tasuta keskkonnad ei võimalda luua SSH ühendust) ja rakendus töötab vaid üliõpilase enda arvutis.
4. Sõltumata sellest, kas Teil on vaja tulla rakendust ette näitama või mitte, loetakse projekt esitatuks alles siis, kui kõik projekti osad, sh rakenduse lähtekood on Maurusesse laaditud.
   • Oracle APEXi korral on vaja esitada rakenduse eksportimisel loodud fail.
   • pgApexi korral on vaja esitada apex.ttu.ee serverist andmebaasi pgapex eksportimisel saadud fail (plain formaadis, SQL laused; loomiseks saate kasutada pgAdmin programmi Backup funktsiooni).
   • MS Accessi korral on vaja esitada *.mdb või *.accdb laiendiga fail, mitte *.mde või *.accde laiendiga fail.
   • Kui teete rakenduse mõnes programmeerimiskeeles, siis tuleb saata nii lähtekood, käivitatavad failid kui ka käivitamise juhend (veebirakenduse korral viimase asemel link).

04.12.2016 Reedel 9. detsembril 2016 kell 16:00-17:00 ruumis ICT-627 toimuv vastuvõtuaeg jääb ära.

Selle asemel on vastuvõtuaeg neljapäeval 8. detsembril 2016 kell 13:00-14:00 ruumis ICT-627.

03.12.2016 Palun kõigil, kes on juba iseseisva töö mustripõhise juhendi alusel (see on eeldusaine kodulehel) oma projekti jaoks protseduure või funktsioone teinud, lugeda ja võtta teadmiseks sellesse juhendisse praegu lk 30-31 lisatud hoiatust.

01.12.2016 Selleks, et saaksite 14ndal õppenädalal (05.12.2016 - 09.12.2016) võimalikult hästi kaasa töötada, palun Teil enne tundi tulekut lugeda läbi ülesande 9 dokumendi esimesed neli lehekülge. See on kodulehel väljas. Loomulikult võib ka rohkem lugeda.

01.12.2016 Kataloogis Aine korraldus on dokumendis Eksam_IDU0230_2016.pdf väljas informatsioon eksami kohta.

01.12.2016 Iseseisva töö esitamise tähtaeg on 23. detsember 2016 (kaasa arvatud). Esitamine toimub Mauruse kaudu. Enne failide saatmist lugege palun ülesandest, mis kujul tuleb vastused saata.

26.11.2016 Selleks, et saaksite 13nda nädala harjutustunnis kaasa töötada, installeerige palun sülearvutisse, millega harjutustuses käite

• Oracle SQL Developer
• PostgreSQL ODBC draiver
• Looge ODBC andmeühenduse spetsifikatsioon nimega PostgreSQL_yhendus

VÕI

logige harjutustunnis arvutiklassi arvutisse, sest seal on see tarkvara olemas.

Viited tarkvarale ja ODBC andmeühenduse spetsifikatsiooni loomise juhend on õppeaine kodulehel teates "Tarkvara" (kuupäevaga 05.09.2016)

25.11.2016 Järgnevas katsetuses on read veerus reg_aeg olevate väärtuste alusel kettal loomulikul viisil enam-vähem sorteeritud. Kasutan funktsiooni timeofday(), et iga lisatud rea jaoks genereeritaks uus ajatempel, mitte ei kasutataks ühte ajatemplit kogu lisamise transaktsiooni kohta.

CREATE TABLE Brin_test (brin_test_id INTEGER PRIMARY KEY,
reg_aeg TIMESTAMP NOT NULL DEFAULT timeofday()::timestamp);

INSERT INTO Brin_test(brin_test_id)
SELECT generate_series
FROM generate_series (1,1000000);
/*Lisasin tabelisse miljon rida.*/

ANALYZE;

\timing

SELECT Count(*) AS cnt FROM Brin_test WHERE reg_aeg>'2016-11-25';
/*Tulemuses 0 rida. Ilma BRIN indeksita kulus tulemuse leidmiseks aega 167.908 ms*/

CREATE INDEX idx_brin_test ON Brin_test USING BRIN (reg_aeg);

ANALYZE;

SELECT Count(*) AS cnt FROM Brin_test WHERE reg_aeg>'2016-11-25';
/*Tulemuses 0 rida. BRIN indeksiga kulus tulemuse leidmiseks aega 1.442 ms*/

Sellest tulenevalt võite PostgreSQL korral kaaluda BRIN indeksi loomist veergudele reg_aeg. Read on registreerimisaja järgi kettal loomulikul viisil järjestatud ja loodud indeksist oleks abi, kui ridu otsitakse registreerimisaja vahemike alusel. Sellist indeksi tüüpi ei saa EA ning RR vahendis kirjeldada. Seega tuleb sellise indeksi loomise kood ise kirjutada.

1. http://pythonsweetness.tumblr.com/post/119568339102/block-range-brin-indexes-in-postgresql-95
2. https://www.postgresql.org/docs/9.5/static/brin-intro.html

18.11.2016 Kolmeteistkümnendal õppenädalal (28.11.2016-02.12.2016) on harjutustundide alguses võimalik teha vabatahtlikku lisapunktide testi loengute teemade 3-4 kohta. Ettevalmistamiseks on teemade slaidid ja kordamisküsimused eksamiks. Need materjalid on väljas kodulehel kataloogis Teooria testideks (vahetestid, eksam) valmistumine.

Testil osalemiseks on kohustuslik registreerida. Registreerimine toimub Mauruse kaudu: Üldist => Teadmiste kontroll (nagu kevadel SQL kontrolltööle). Testil osalemiseks peab olema kaasas isikut tõendav dokument (nagu kevadel SQL kontrolltööl ja eksamil; raamatukogu- krediit- jms kaardid ei sobi ja nendega testi teha ei saa; autojuhiluba sobib).

Test toimub elektrooniliselt, Mauruse testikeskkonnas. Kasutada võib arvutiklassi arvutit või oma arvutit (erinevalt eksamist, mis toimub ainult arvutiklassi arvutites). Küsimustele vastamiseks materjale kasutada ei või. Testis on viis juhuslikult valitud küsimust, vastamiseks on aega 10 minutit. Küsimused on valikvastustega ning ainult üks vastuse variant on õige. Tulemuse saate teada kohe, kuid vastuste õigsust saab vaadata üheksanda nädala harjutustundides. Nädala jooksul saab testi teha maksimaalselt ühe korra. Kui Te ei soovi testi teha, siis võiksite tundi tulla 15 minutit peale algust.

18.11.2016 Kui teete projekti teemal Kaupade/toodete arvestus, siis on Teie andmebaasis tabel Kauba_kategooria.

Andmed sellesse tabelisse saaksite Te võtta Global Product Classification (GPC) rahvusvahelisest standardist.

16.11.2016

• Shared Nothing Partitioning kasutuselevõtt Pinteresti näitel.
• Suurettevõtte andmebaasi ühest andmebaasisüsteemist (Oracle => PostgreSQL) teise migreerimine Yandex Mail näitel (saab vaadata videot).

14.11.2016 Kataloogi Teooria testideks (vahetestid, eksam) valmistumine/Harjutustunni slaidid (enamasti iseseisvaks uurimiseks) on iseseisvaks uurimiseks lisatud slaidikomplekt andmebaasi kapseldamise kohta. Kui seal jääb midagi arusaamatuks, siis palun kirjutage või tulge küsima. Selle materjaliga tuleks tutvuda enne, kui hakkate tegema vaateid ja andmebaasiserveris talletatud rutiine (funktsioone ja protseduure).

11.11.2016 Selleks, et saada INSERT laused, mida paigutada projekti dokumendi alajaotusesse "Täiendavate testandmete lisamine", võite lisada need andmed läbi haldusprogrammide tabelitesse ning seejärel need andmed eksportida. Siin on videod, kuidas teha eksportimist PostgreSQLis ja Oracles. See on andmebaasist loogilise varukoopia tegemine (vastandina füüsilisele varukoopiale, mida tehakse failide tasemel).

Vihje

Kui tegite kevadise projekti MS Accessis ja kasutasite SQL lausete käivitamiseks minu poolt pakutud abiprogrammiga faili, siis seal saate ekraanivormil SQL_skripti_käivitamine vajutada nupule, mis ekspordib MS Accessi andmebaasist CREATE TABLE, DROP TABLE ja INSERT laused (Nupp SQL lausete eksport teatele lisatud pildil). Võibolla on genereeritud INSERT lausetest kasu. Nendes INSERT lausetes puuduvad veergude nimed (tuleb ise juurde kirjutada). Kui peale faili avamist on sisu "välja lülitatud", siis tuleb eksportimise võimaldamiseks valida Enable Content.

09.11.2016

• Liitindeks (perenimi, eesnimi) tabelis Isik, et kiirendada isikute otsimist nime järgi.
• Osaline indeks tabeli Klient veerule on_nous_otseturundusega. Selle indeksi võiks luua ridadele, kus on_nous_otseturundusega=TRUE, sest just selliseid ridu otsivad ilmselt otseturunduse tegijad. Sellist indeksit ei saa Enterpise Architect ning Rational Rose vahendis kirjeldada. Seega tuleb sellise indeksi loomise kood ise kirjutada.
  1. PostgreSQL: https://www.postgresql.org/docs/9.5/static/indexes-partial.html
  2. Oracle: http://dba-presents.com/index.php/databases/oracle/41-filtered-index-equivalent-in-oracle
• PostgreSQL korral BRIN (plokkide vahemiku) indeksid veergudel reg_aeg. Read on selle järgi kettal loomulikul viisil järjestatud ja loodud indeksist oleks abi, kui ridu otsitakse registreerimisaja vahemike alusel. Sellist indeksi tüüpi ei saa EA ning RR vahendis kirjeldada. Seega tuleb sellise indeksi loomise kood ise kirjutada.
  1. http://pythonsweetness.tumblr.com/post/119568339102/block-range-brin-indexes-in-postgresql-95
  2. https://www.postgresql.org/docs/9.5/static/brin-intro.html

08.11.2016 Kataloogis Aine korraldus on väljas 2. novembril 2016 loengus toimunud tagasiside küsitluse tulemuste kokkuvõte.

05.11.2016 Pean osalema ühel tähtsal instituudi ja ülikooli tulevikku puudutaval koosolekul, mis algab 10. novembril 2016 kell 15:00. Seetõttu algab harjutustund neljapäeval 10. novembril 2016 kell 13:30 ruumis ICT-402. Olen kohal ja vaatan projekte. Need kes tulevad teisest tunnist saavad jooksvalt ühineda. Panen punktid kirja enne kella 15:00. Minu lahkumise järel jääb klass avatuks ning saate projekti edasi teha. Kell 16:00 algav harjutustund toimub tavapäraselt. Rühma IAPB52 üliõpilastele sobivad tunniplaani järgselt ka järgmised harjutustunni ajad.

• Esmaspäeval kell 8:00 ruumis ICT-401
• Reedel kell 14:00 ruumis ICT-404
• Kui Te ei õpi automaatjuhtimissüsteemide ainet, siis ka reedel kell 12:00 ruumis ICT-637

03.11.2016 Kui tunnete, et harjutustunnis on liiga palju üliõpilasi ja Te ei saa oma küsimustele piisavalt kiiresti vastuseid, siis võib teid aidata järgnev.

• Kui ma projekte vaatan ning küsimustele vastan, siis astuge harjutustunnis julgelt ligi kuulama. Projektide teemad, lahendamist vajavad probleemid ning vastamist ootavad küsimused on sageli ühesugused.
• Reedeti kell 12:00 käib ICT-637 umbes 10 inimest harjutustunnis ning reedeti kell 14:00 käib ICT-404 vaid paar inimest harjutustunnis. Seal jätkub aega kõigile.

01.11.2016 Konkreetne näide, kuidas suur infosüsteem vahetas Oracle PostgreSQLi vastu. Siin on lühike tekstiline ülevaade.

26.10.2016 Koostasin kaks nimekirja, kus tõin välja endale kõige südamelähedasemad PostgreSQL eelised Oracle ees ning vastupidi.

22.10.2016 1. Võiksite kevadise projekti kontseptuaalse andmemudeli atribuutide definitsioonides lisada olemitüübi Klassifikaator atribuudi kood juurde järgneva kitsenduse:

{Riikide koodid koosnevad vastavalt ISO 3166 standardile täpselt kolmest suurtähest.}

2. Kui Te soovite vaikimisi väärtusena registreerida ajatempli minuti täpsusega, siis kasutage vaikimisi väärtusena järgnevaid avaldisi:

• PostgreSQLis: date_trunc('minute',LOCALTIMESTAMP)
• Oracles: trunc(LOCALTIMESTAMP,'mi')

3. Leiate materjalidest regulaaravaldise, mis kontrollib isikukoodi vastavust Eesti isikukoodi reeglitele. Kui Teie projekt lubab registreerida isikukoode erinevatest riikidest, siis ei saa Te seda kontrolli üks-ühele kasutada. Aga, kui soovite (pole kohustuslik), saate andmebaasis jõustada reegli "Kui isikukoodi riik on Eesti, siis isikukood peab vastama mustrile ...". Formaalsemalt kirja panduna on tegemist implikatsiooni reegliga, mille üldkuju on selline P=>Q. See tähendab, et kui kehtib tingimus P, siis peab kehtima ka tingimus Q. Sellise reegli CHECK kitsendusena jõustamiseks, saate kasutada avaldisega P=>Q loogiliselt samaväärset avaldist NOT(P) OR Q.

• PostgreSQLis oleks kitsenduse loogikaavaldis selline: NOT (riigi_kood='EST') OR isikukood~'^([3-6]{1}[[:digit:]]{2}[0-1]{1}[[:digit:]]{1}[0-3]{1}[[:digit:]]{5})$'
• Oracles oleks kitsenduse loogikaavaldis selline: NOT (riigi_kood='EST') OR REGEXP_LIKE(isikukood, '^([3-6]{1}[[:digit:]]{2}[0-1]{1}[[:digit:]]{1}[0-3]{1}[[:digit:]]{5})$')

17.10.2016 Alates 21. oktoobist 2016 toimub rühma IAPB53 harjutustund õppeaines "Andmebaasid II" (IDU0230) reedeti kell 12:00-13:30 ruumis ICT-637.

14.10.2016 Kaheksandal õppenädalal (24.10.2016-28.10.2016) on harjutustundide alguses võimalik teha vabatahtlikku lisapunktide testi loengute teemade 1-2 kohta. Ettevalmistamiseks on teemade slaidid ja kordamisküsimused eksamiks. Need materjalid on väljas kodulehel kataloogis Teooria testideks (vahetestid, eksam) valmistumine.

Testil osalemiseks on kohustuslik registreerida. Registreerimine toimub Mauruse kaudu: Üldist => Teadmiste kontroll (nagu kevadel SQL kontrolltööle). Testil osalemiseks peab olema kaasas isikut tõendav dokument (nagu kevadel SQL kontrolltööl ja eksamil; raamatukogu- krediit- jms kaardid ei sobi ja nendega testi teha ei saa).

Test toimub elektrooniliselt, Mauruse testikeskkonnas. Kasutada võib arvutiklassi arvutit või oma arvutit (erinevalt eksamist, mis toimub ainult arvutiklassi arvutites). Küsimustele vastamiseks materjale kasutada ei või. Testis on viis juhuslikult valitud küsimust, vastamiseks on aega 10 minutit. Küsimused on valikvastustega ning ainult üks vastuse variant on õige. Tulemuse saate teada kohe, kuid vastuste õigsust saab vaadata üheksanda nädala harjutustundides. Nädala jooksul saab testi teha maksimaalselt ühe korra. Kui Te ei soovi testi teha, siis võiksite tundi tulla 15 minutit peale algust.

13.10.2016 Värskelt TTÜ raamatukokku saabunud raamatu Agile! : the good, the hype and the ugly üks eksemplar on endiselt TTÜ raamatukogus saadaval. See on lisamaterjaliks esimese teema kohta, aga ka teistele ainele ja on ka laiemalt silmaringi jaoks väga kasulik.

Samuti on raamatukogus hetkel saadaval üks eksemplar raamatust SQL antipatterns : avoiding the pitfalls of database programming. Ütleksin, et see on lausa kohustuslik kirjandus kõigile SQL-andmebaaside disainiga tõsisemalt tegeleda soovijatele.

13.10.2016 Mõnes harjutustunnis on palju osavõtjaid ja ma ei pruugi alati jõuda kõigi tööd üle vaatama. Samas, projektide teemad ning võimalikud probleemid/vead korduvad. Seega kutsun üles kuulama/vaatama, mida ma teistele rühmadele räägin ning võtma saadud info kohe enda projekti juures arvesse. Kui ma tehtud tööd tunnis üle vaatan, siis võite julgesti ligi astuda. Usun ja loodan, et see ei ole ka probleemiks üliõpilastele, kelle tööd ma parajasti vaatan. Kui on, siis andke palun sellest märku.

11.10.2016 Ka Teie töövihiku projektis on tabelis Klient veerg on_nõus_otseturundusega. 2018. aasta mais jõustub andmekaitse üldmäärus, mis karmistab oluliselt isikuandmete töötlemiseks vajaliku nõusoleku tingimusi.

09.10.2016 Kataloogis Tulemused on aruanne lisapunktide kohta, mida plaanin täiendada iga nädala lõpus. Kui leiate, et seal on Teie kohta vale info, siis palun andke kohe teada.

08.10.2016 Üliõpilaste tagasisides soovitakse ainete korraldusliku info meilile saamist. Täiustasin Maurust nii, et edaspidi on võimalik Maurusesse pandud üldiseid teateid kodulehe kinnitatud kasutajate meilile edasi saata. Plaanin seda teha korralduslike teadetega. Kirja teema osa algab aine kodulehe nimega (antud juhul Andmebaasid II (IDU0230) (sügis 2016)). Selle alusel saate näiteks meile otsida ja grupeerida. Samasugune kirjade saatmise funktsionaalsus on Moodles.

01.10.2016 Mainisin harjutustunnis, et PostgreSQLis saavad arendajad võtta kasutusele uusi protseduurseid keeli (PL). Sellise keele näide on Skype poolt arendatud ja kasutatav PL/Proxy. Sellest keelest on juttu selles esitluses slaididel 6 ja 11–29. Lisaks tutvustatakse esitluses ka teisi Skype poolt kasutatavaid PostgreSQL laiendusi.

30.09.2016 Harjutustunnis oli juttu, et PostgreSQLis NULL || tekstiline väärtus = NULL. Järgneva koodi võite käivitada oma andmebaasis ja see loob operaatori & mis käitub nii:
NULL & tekstiline väärus = tekstiline väärtus
NULL & NULL = tühi string

CREATE FUNCTION textcat_coalesce(text, text) RETURNS text AS $$
SELECT coalesce($1,'') || coalesce($2,'');
$$ LANGUAGE sql IMMUTABLE LEAKPROOF;

COMMENT ON FUNCTION textcat_coalesce(text, text) IS
'Stringide konkatenatsiooni operaatorit & realiseeriv funktsioon. Tagab, et operatsiooni tulemus pole NULL.';

CREATE OPERATOR & (
LEFTARG = text,
RIGHTARG = text,
PROCEDURE = textcat_coalesce
);

SELECT NULL || 'katsetus' AS tulemus;
Tulemus: NULL

SELECT NULL & 'katsetus' AS tulemus;
Tulemus: katsetus

29.09.2016 PostgreSQL 9.6 on tänase päeva seisuga ametlikult väljas. Palju uuendusi, kuid need puudutavad suures osas andmebaasisüsteemi sisemisi tööprotsesse. Andmebaasi programmeerija jaoks palju ei muutu ja seega jääme sellel sügisel PostgreSQL 9.5 kasutamise juurde.

29.09.2016 PostgreSQLis kirjutatud rekursiivsete SELECT lausetega saab genereerida fraktaleid. Näiteid leiab SIIT. Võite nende päringute käivitamiseks kasutada mistahes kursuse serveri andmebaasi. Kasutage käivitamiseks programme psql või pgAdmin.

23.09.2016 Serveritega seotud turvalisuse küsimustega tegeleb IT osakond. Nad on võtnud suuna sellele, et kaugligipääsudeks ülikooli serveritele peab hakkama kasutama autenditud VPNi või võtmetega SSHd. Kaugligipääs (st ligipääs väljastpoolt TTÜ arvutivõrku) apex.ttu.ee PostgreSQL pordile (5432) on blokeeritud järgmiste eranditega. Kaugligipääs on võimalik:

• TTÜ wifist,
• eduroamist,
• kodust läbi TORU.ttu.ee https://wiki.ttu.ee/it/et/doc/lib_toru.

PostgreSQL andmebaasile rakenduse tegijad peaksid arvestama järgnevaga.

• Kui teete kahekihilise süsteemi, kus rakendus on kliendi arvutis (nt kasutades MS Accessi või Javat), siis kodus rakendusega tegeledes on kõigepealt vajalik luua TORU.ttu.ee kaudu VPN ühendus. Muide, samal viisil saate kasutade väljaspool TTÜd ülikooli raamatukogu andmebaase.
• Veebirakenduste tegijad - apex.ttu.ee serveris on PHP ja pgApex. Kui soovite rakenduse jaoks kasutada mõnda muud serverit/vahendit, siis tuleks kas valida TTÜ võrgus olev server (mõnest teisest ainest) või luua rakenduses apex.ttu.ee serveriga SSH ühendus (näide).

Kui soovite kodust PostgreSQLiga töötamiseks kasutada pgAdmini, siis tuleb teha ühte järgnevast.

• Luua kõigepealt TORU.ttu.ee kaudu VPN ühendus.
• Luua ühendus kasutades SSH tunnelit (ühenduse defineerimisel pgAdmin 3 ver 1.22 sisestada info nii sakkide Properties kui SSH Tunnel alla).

Andmebaas on kohustuslik paigutada apex.ttu.ee serverisse, sest seal on automaattestimise vahendid ja õppejõul on sellele hindamiseks vajalik täielik juurdepääs

23.09.2016 PL/SQL on TIOBE programmeerimiskeelte populaarsuse indeks, milles Oracle andmebaasiserveris talletatud rutiinide keel PL/SQL on üsna kõrgel kohal. See on saavutus, sest tegemist pole üldotstarbelise keelega ja seda saab kasutada ainult teatud keskkondades (mõned SQL-andmebaasisüsteemid).

21.09.2016 Kui soovite rohkem infot paindmetoodikatest, siis soovitan vaadata seda Bertrand Meyeri ettekannet (osa 1 ja osa 2), mis põhineb tema uuel raamatul. Raamat ise on olemas TTÜ raamatukogus.

TTÜ raamatukogu kaudu on tehtud üliõpilastele elektrooniliselt kättesaadavaks raamat Disciplined Agile Delivery: A Practitioner’s Guide to Agile Software Delivery in the Enterprise. See kirjeldab suurte projektide jaoks kohandatud paindmetoodikat.

Siit aga leiab info, kuidas pääseda raamatule ligi ka väljaspoolt TTÜ võrku.

17.09.2016 : Royce, W. W., 1970. Managing the development of large software systems. Proceedings of IEEE WESCON. Vol. 26. No. 8.

16.09.2016 Tuleb välja, et SQL*Plus'is teksti kustutamiseks kasutatav klaviatuuri klahv sõltub serverisse logimise tarkvarast.

• SSH Secure Shell Client - Delete
• Putty - Backspace

Väga segadus tekitav. Vähemasti PostgreSQLi psqlis selliseid anomaaliaid ei ole ja teksti kustutab alati Backspace.

16.09.2016 Thomas Kyte on Oracle andmebaasisüsteemide spetsialist ja tema sellel teemal kirjutatud raamatud on väga head. Üks nendest raamatutest - Expert Oracle Database Architecture, Third Edition - on TTÜ üliõpilastele kättesaadav elektrooniliselt, andmebaasist Safari. TTÜ ja TÜ ühistellimusena on TTÜ võrgus avatud juurdepääs üle 200-le selles andmebaasis olevale infotehnoloogia valdkonna raamatule.

Palun lugege sellest raamatust esimese peatüki osi My Approach ja The Black Box Approach.

Jah, seal kiidetakse muuhulgas Oraclet. Võtke seda kergelt, sest ka mitmed teised andmebaasisüsteemid (sh PostgreSQL) on sama võimekad. Kuid seal kirjeldatav üldine andmebaasirakenduste loomise mõtteviis on selline, mida pean mõistlikuks ja millest lähtun ka käesolevas kursuses.

Siit aga leiab info, kuidas pääseda raamatule ligi ka väljaspoolt TTÜ võrku.

Põhimõte on, et hea andmebaasirakenduse loomiseks tuleks tunda ja kasutada andmebaasisüsteemide pakutavaid võimalusi. Lisan siia lõppu tsitaadi raamatust, mida ma tõlkima ei hakka. Viidatud osades tuuakse mõned ilmekad näited selle kohta, kuidas rakenduse arendajate poolne andmebaasi/andmebaasisüsteemi musta kastina vaatamine viis halbade tulemusteni.

My point about the power of database features is not a criticism of tools or technologies like Hibernate, EJBs, and container-managed persistence. It is a criticism of purposely remaining ignorant of the database and how it works and how to use it. The technologies used in this case worked well—after the developers got some insight into the database itself.

The bottom line is that the database is typically the cornerstone of your application. If it does not work well, nothing else really matters. If you have a black box and it does not work, what are you going to do about it? About the only thing you can do is look at it and wonder why it is not working very well. You can’t fix it, you can’t tune it. Quite simply, you do not understand how it works—and you made the decision to be in this position. The alternative is the approach that I advocate: understand your database, know how it works, know what it can do for you, and use it to its fullest potential.

21.09.2016 Kui Teil veel ei ole juurdepääsu Microsoft Imagine (vana nimega Microsoft Dreamspark) keskkonnale, aga soovite seda selle semestri jooksul saada (sealt keskkonnast saab näiteks MS Accessi), siis peate esitama juurdepääsu taotluse selle keskkonna kaudu hiljemalt 26. oktoobril 2016 kell 23:59. Varem küsitud juurdepääsud kehtivad endiselt.

13.09.2016 Hiljutine arutelu teemal, kuidas ettevõtted valivad enda infosüsteemide jaoks andmebaasisüsteeme ning milliseid meetodeid andmebaasisüsteemide arendajad kasutavad, et leida uusi kliente ja hoida kinni olemasolevaid.

09.09.2016 Tähtajaga 16. september 2016 tuleb registreerida iseseisva töö teema, rakenduses realiseeritav töökoht, esialgne kasutatavate vahendite valik ja üliõpilased, kes seda tööd üheskoos teevad. Kui otsustate teha midagi teisiti, kui vastuses kirjas, siis õppejõu teavitamiseks piisab ainult selle vastuse muutmisest.

Iseseisva töö registreerimiseks valige õppekeskkonna vasakpoolsest menüüst
"Tudeng->Ülesanded" ning avanenud leheküljelt ülesanne "Iseseiseva töö registreerimine".

Ühte tööd võib teha koos kuni kolm inimest. Kui teete tööd mitmekesi, siis peab ülesandele vastama ainult üks tegijatest. Kutsun üles koonduma ja tegema projekti mitmekesi!

Nimetan järgnevalt ka mõningaid tüüpilisi probleeme vastustes ja loodan, et Te väldite neid.

1. Teisi andmebaasisüsteeme peale PostgreSQL ja Oracle iseseisva töö tegemiseks kasutada ei saa.
2. Oraclet ja MS Accessi on raske koos kasutada ja seega ei sobi MS Access Oracle andmebaasi rakenduse tegemiseks.
3. Oracle Application Express vahendi abil ei saa teha PostgreSQL andmebaasi kasutamiseks mõeldud veebirakendust.
4. Enterprise Architect ja Rational Rose ei ole rakenduse tegemise vahendid, vaid on modelleerimisvahendid.

09.09.2016 Minult küsiti tunnis, kas ja millal eelistada NoSQL andmebaasi SQL-andmebaasi loomisele.

Arvan, et käesolevaks ajaks on NoSQL jõudnud haibitsüklis ülisuurte ootuste tipust üle, pettumuste lohust läbi, võibolla isegi juba taasavastamise tõusule.

Üha rohkem ilmub seisukohti ja tähelepanekuid, mis osundavad lähenemise või süsteemide üldistele puudujääkidele (näide1, näide2) ja konkreetsete süsteemide probleemidele (näide3, näide4, näide5). Muidugi saab öelda, et ühes või teises NoSQL süsteemis selliseid probleeme ei ole, kuid küsimus on, kuidas see toode kümnete teiste seast üles leida ja kas on kindel, et selle teinud idufirma pole viie aasta pärast hingusele läinud. NoSQL süsteemid peavad oma arengus jõudma produktiivsuse platoole ja tõsised tegijad välja settima.

Näen tõsist probleemi selles, et NoSQL süsteeme üritatakse kasutada ka seal, kus see pole kindlasti mõistlik. Teha raamatupidamise tarkvara NoSQL süsteemi põhjal on sama lahe kui kratsida kukalt pannes käe jalge vahelt läbi. Alguses paistab huvitav ja ekstravagantne, sellest tehtud piltidega saab sotsiaalmeedias praalida - pärast on kael ja keha kanged ning selg paigast ära. Mulle meeldis ühes arutelus võrdlus andmete ja koduse tööriistakuuri vahel. Oletame, et Teil on kuuris palju tööriistu. Üks võimalus on võtta erinevat tüüpi tööriistade jaoks kasutusele erinevad kastid. Kahtlemata võtab kastide valimine, neile siltide kleepimine ning tööriista ära panemisel õige kasti otsimine aega. Andmebaaside maailmas vastab sellele skeemi defineerimine SQL/relatsioonilises andmebaasis. Selle tulemusena on vajaliku tööriista leidmine kiire. Kas tõesti oleks lahendus, kus kuuris on hulk kaste ja tööriist pannakse esimesse vabasse kasti, kokkuvõttes kiirem ja parem? Andmebaaside maailmas vastaks sellele skeemitu NoSQL andmebaasi kasutamine.

Näen NoSQL süsteemide peamist kasutusvaldkonda suurandmete (big data) hoiustamisel - andmeid on hästi palju, neid tuleb nagu kosest juurde ja andmete struktuur ei ole ühe vitsaga löödud, vaid küllaltki muutlik. Kena oleks need kuskile kiiresti ja odavalt ära panna, lootuses, et ehk on hiljem aega, tahtmist ja raha, et neid lähemalt uurida. Tööriistade näitel oleks see umbes midagi sellist. Asjade hunnikusse paigutajal oli oma süsteem ja ta leiab vajaliku kiiresti üles. Teistel see nii kiiresti ei lähe. Teisalt, nagu tõestavad seriaalid nagu American Pickers, võib sellisest hunnikust igasugu väärt kraami leida. Samamoodi ei tasu ka andmeid lihtsalt ära visata. Graafipõhistel andmebaasisüsteemidel on kindlasti oma kindel koht igat sorti võrgustike (kes on kelle sõber, kust kuhu tee viib või kaabel jookseb jne) andmete käepäraseks muutmisel. Arvan, et mõistlikuks arengusuunaks on SQL ja NoSQL kokkusulamine, mille näiteks on PostgreSQLis JSON tüüpi andmetega töötamise võimalus. See võimaldab lahendusi, kus ühes geograafilises punktis oleva andmebaasi piires on teatud osa andmetest esitatud rohkem struktureeritult (eraldi veergudes) ja muutlikum osa andmeid on surutud kokku JSON andmeväärtustesse (vt kolmandat disaini selles näites). Kõiki neid andmeid kantseldab ACID omadusi toetav transaktsioonide juhtimise moodul.

NoSQL and Technical Debt on ajaveebi postitus, mis selgitab, miks NoSQL süsteemide ilmumine pole muutnud väärtusetuks SQLi ning andmebaaside projekteerimise õppimist. Nende oskuste puudumine on arendajatel võlg, mis tuleb hiljem intressidega tagasi maksta. NoSQL oma "skeemitute" andmetega loob tegelikult tehnilist võlga.

06.09.2016 Sellest sügisest kehtib Infotehnoloogia teaduskonnas õppuri akadeemiliste tavade rikkumise ja vääritu käitumise menetlemise kord. Selles dokumendis määratakse ära, milliseid õppuri poolseid tegevusi loetakse akadeemiliselt väärituks käitumiseks ning millised on tegevused ja võimalikud ametlikud tagajärjed õppuri jaoks (noomitus, eksmatrikuleerimine) kui ta millegi sellisega hakkama saab.

Palun Teilt järgnevat.

• Ärge jagage enda tehtud projekte teiste üliõpilastega.
• Ärge tehke kellegi teise eest tema tööd ära.
• Ärge taluge projekti meeskonnas liikmeid, kes teistega võrdselt töösse ei panusta.

Sellega teete tegelikult neile palju halba, sest nad ei õpi midagi!!! Veel enam, Te teete kahju endale, sest teadmisteta/oskusteta lõpetajad kahjustavad tööandjate silmis kõigi diplomisaajate mainet.

Kui mõni projekti kaaslane ei panusta piisavalt, siis arvake ta palun oma projektist välja ja teavitage sellest (nt õppekeskkonna kaudu) õppejõudu.

05.09.2016 Loengutes ja harjutustes teevad paljud üliõpilased lisaks apex.ttu.ee serverile praktilisi katseid ja vaatluseid ka Facebookis :-) Kelle huvi pakub, siis sellele teatele lisatud faili jaotises 2.1 antakse ülevaade Facebooki andmebaasi arhitektuurist. Artikkel ise seostub teemadega 6 ja 12.

05.09.2016 Motivatsioonikõne asemel neile, kes näevad oma tulevast elu progejana või (projekti)juhina ja arvavad, et andmebaaside kohta eriti midagi teadma ei pea - väga eluline näide (seostub teemaga 6 - transaktsioonid ja lukustamine), miks on vaja andmebaaside tehnoloogiat tunda.

05.09.2016 Teie töö hindamiseks kasutatakse automatiseeritud disaini kontrollimise vahendit. Teil on võimalus jooksvalt ise oma andmebaasi selle abil analüüsida. Eeldus on, et andmebaas on apex.ttu.ee serveris (see on muide projekti reeglitega nõutud).

Vahend käivitab andmebaasi süsteemikataloogi põhjal päringuid. Osa päringuid suudavad leida vigu. Osa aga otsivad andmebaasi disainist halva lõhnaga kohti (vt halvasti lõhnav disain ja halvasti lõhnav kood). Halvasti lõhnavad kohad ei takista andmebaasi ja seda kasutavate süsteemide toimimist, kuid muudavad andmebaasi kasutamise, haldamise või arendamise mingis aspektis raskemaks kui see võiks olla. Halvasti lõhnavad kohad on sügavamate probleemide sümptomid. Nende probleemide lahendamine aitab koodi puhastada. Halb lõhn on tehnilise võla tunnus. Tehniline võlg tähendab, et "asi" töötab, kuid saaks olla sisemiselt tehtud paremini. Kuna praegu on seal midagi "üle jala" lastud, siis see on probleem tulevikus, kui "asja" on vaja edasi arendada. Kliendile kiiresti töötava asja üleandmiseks on võetud võlga tuleviku arenduste arvelt. Tehnilist võlga aitab vähendada refaktoreerimine.

Kui teete oma projekti PostgreSQLis, siis minge aadressile. Logige sisse kasutades apexi kasutajanime ja parooli. Valige kontrollitav andmebaas. Ilmselt on see samasuguse nimega nagu ühe projekti tegija kasutajanimi ja sisaldab tema matriklinumbrit. Valige "Käivita saadaolevaid teste". Valige test "Databases II (fall 2016)". Vaadake päringu tulemusi, milles on üks või rohkem rida. Lugege kirjeldust, vaadake tulemusi. Usaldusväärsus on hinnang sellele, kuidas päring oma eesmärke täidab.

• Alajaotuses "General" on päringud, mis otsivad andmebaasist spetsiifilist infot, kuid otsuse selle kohta, kas midagi on õigesti või valesti peab tegema inimkasutaja, kes tulemust vaatab.
• Alajaotuses "Flaw detection" on päringud, mille tulemuses olev iga riga osundab mingile võimalikule disaini veale. Sõltuvalt päringu usaldusväärsuse hinangust peaks inimkasutaja selle üle kontrollima.
• Alajaotuses "Software measure" on päringud, mis arvutavad andmebaasi skeemi põhjal mingi arvulise väärtuse.

Soovi korral võite kasutada ka kasutajaliidese vana versiooni, kus kõik tulemused on ühel lehel. Mina kasutan tundides Teiega koos andmebaase vaadates seda. Päringud on samad, kasutajaliides erinev.

Kui teete oma projekti Oracles, siis minge aadressile. Päringud, mida saate sealt kaudu käivitada leiate andmebaasi disaini kontrollimiseks mõeldud SQL laused kataloogist Iseseisva töö projekti tegemine. 990999 tuleb asendada matrikli numbriga, mida kasutate projekti tulemusena loodud andmebaasiobjektide nimedes.

Võite neid päringuid regulaarselt ise käivitada ja interpreteerida üritada. Küsimuste korral pöörduge õppejõu poole. Oleks väga hea, kui mõnes semestri lõpu harjutustunnis, kui projekt juba valmis saama hakkab, jõuaksite koos õppejõuga need päringu tulemused üle vaadata.

05.09.2016 Saamaks juurdepääsu serverile apex.ttu.ee, tuleb täita esimene punkt ülesandest nr 1, mis on kataloogis Iseseisva töö projekti tegemine/Töö harjutustunnis (samm-sammuline juhend).

05.09.2016 Suur pilt (1. juuni 2015 seisuga) erinevatest andmebaasitehnoloogiatest ning neid realiseerivatest tarkvarasüsteemidest.

05.09.2016

Üliõpilaste töökeskkond:

1. Oracle Application Express (Oracle APEX): http://apex.ttu.ee:8000/apex/apex_login
2. PostgreSQL phpPgAdmin: http://apex.ttu.ee/andmebaas/

Oracle Application Express abil tehtud rakenduste näiteid:

1. Töötajate andmebaas (rakenduse tegemiseks kulus umbes 30 minutit)
   (kasutajanimi: testkasutaja
   parool: 1234)
2. Koristajate andmebaas
   (kasutajanimi: testkasutaja
   parool: 1234)
3. Seisundimuudatuste realiseerimise näide
4. APEXiga kaasa tulev näiterakendus
   (kasutajanimi: testkasutaja
   parool: 1234)

2016. aasta kevadel arendas hr Rait Raidma välja Oracle APEXile sarnase süsteemi nimega pgApex, mis põhineb PostgreSQLil. Magistritööd saab lugeda siit.

• apex.ttu.ee serveris üles seatud arenduskeskkond (sisselogimiseks apex kasutajanimi/parool)
• MIT litsentsiga kaitstud avalik lähtekood
• Tubade halduse näiterakendus (
  kasutajanimi: kask@ttu.ee
  parool: test)

PHP rakenduse näide:

1. Teadetetahvel - sisselogimiseks on vaja kasutada apex.ttu.ee PostgreSQL kasutajanime ja parooli.

NB! apex.ttu.ee serveris tuleb PHP rakendus paigutada kataloogi /usr/local/apache2/htdocs alamkataloogi.
Kui loote seal näiteks oma rakenduse jaoks kataloogi rakendus, siis rakenduse veebiaadress on: http://apex.ttu.ee/rakendus/

Abivahendid:

1. StarUML CASE vahendil põhinev lahendus, mis võimaldab StarUML abil koostada SQL-andmebaasi disaini mudeleid ja genereerida nendest PostgreSQLi jaoks mõeldud SQL koodi (kaasa arvatud mõningate keerukamate kitsenduste jõustamiseks vajalik kood). Idee on, et mudelis saab deklareerida kitsenduse vajaduse ning generaator oskab selle deklaratsiooni alusel koodi genereerida.
2. apex.ttu.ee serveris olevate PostgreSQL andmebaaside kvaliteedi kontroll - sisselogimiseks on vaja kasutada apex.ttu.ee PostgreSQL kasutajanime ja parooli. Siin on sama vahendi vana kasutajaliides.
3. Erinevad tarkvaravahendid PostgreSQL andmebaaside projekteerimiseks, programmeerimiseks ja haldamiseks. Nimekirjas on nii vaba tarkvara kui ka kommertstarkvara.

Dokumentatsioon:

1. Tigu lahkamas, ehk ekskursioon UNIXi maailma
2. PostgreSQL (9.5) dokumentatsioon
   • PostgreSQL SQL Reference
3. Oracle 12c Release 1 dokumentatsioon
   • Oracle SQL Reference
4. Ask Tom on koht kust leiab vastuseid paljudele küsimustele Oracle kohta. Ühtlasi on see keskkond näide Oracle Application Express kasutamise kohta.
5. Oracle Application Express
6. Oracle Application Express foorum
7. Pistikprogrammid e pluginad, mida saab kasutada Oracle APEXI abil tehtud rakenduste funktsionaalsuse suurendamiseks.
8. Mõned videod, mis demonstreerivad APEX 4.1 kasutamist.

Lisainfo:

1. Suur hulk soovitusi ja näpunäiteid andmebaaside programmeerijatele
2. Visioon, kuidas üles ehitada andmete haldamiseks mõeldud süsteeme
3. Teadmusbaas Database Lifecycle Management, kus on palju andmebaasi testimisest, evitamisest, versioonihaldusest. Tehnilisemad näited on seal MS SQL Serveri baasil, kuid üldiselt on see jutt oluline ja vajalik mistahes andmebaasisüsteemi korral.
4. Kümme tavalist viga, mida Java arendajad teevad SQLi kirjutamisel
5. Veel kümme tavalist viga, mida Java arendajad teevad SQLi kirjutamisel
6. Üle kümne aasta uus väljaanne raamatus, kus andmebaasidega seotud teadus- ja arendustöö suurkujud esitavad viiteid mõnedele andmebaaside valdkonda palju ja püsivalt mõjutanud teadusartiklitele. Mis peamine, iga peatüki ees on toimetajate kommentaar, milles tutvustatakse artikleid ning kommenteeritakse andmebaasisüsteemide minevikku, olevikku ja tulevikku. Kellel on andmebaaside ja maailma selle valdkonna trendide vastu sügavam huvi, soovitan lugeda.

05.09.2016 PostgreSQL andmebaasiga töötamiseks võib kasutada tasuta pakutavat programmi pgAdmin. Kuna serveris on PostgreSQLi kõige viimane stabiilne versioon, siis koostöö saavutamiseks kasutage ka PgAdmin'i (generatsioon 3) viimast stabiilset versiooni (1.22).

Oracle andmebaasiga töötamiseks soovitan kasutada Oracle poolt pakutavat programmi Oracle SQL Developer (ülikooli serveriga ühenduse loomisel SID= orcl). Tarkvara on tasuta, kuid selle allalaadimiseks tuleb ennast registreerida.

apex.ttu.ee serveriga SSH ühenduse loomiseks võib kasutada programmi PuTTY või Bitvise SSH Client. Samuti võib mitte-kommerts otstarbel kasutada SSH Secure Shell klienti versiooni 3.2, kuid see on juba üsna vana ja ebaturvaline. Selles lõigus nimetatud programmidest piisab ühest!

apex.ttu.ee serverisse failide ülekandmiseks ja sealt failide allalaadimiseks võib kasutada programmi WinSCP. Tegelikult sisaldavad ka Bitvise ja SSH Secure Shell programmid sellist funktsionaalsust ja siis poleks WinSCPd vajagi.

Lähtekoodiga (sh SQL lausetega) töötamiseks sobib hästi tekstiredaktor SciTe või Notepad++.

Valikuline

PostgreSQL andmebaasisüsteemi kasutava kahekihilise klient-server süsteemi loomiseks läheb vaja PostgreSQL ODBC draivereid. Valige kõige hilisem versioon. Milline draiver valida ja kuidas andmeühendust seadistada lugege palun teatele lisatud failist.

PHP rakenduste genereerimiseks võib kasutada SQL Maestro koodigeneraatorit PostgreSQL jaoks või SQL Maestro koodigeneraatorit Oracle jaoks.

Kui PostgreSQLiga suhtlemiseks pakutud vahenditest väheks jääb, siis siit leiab veel alternatiive.

05.09.2016 Lehele ligipääsemiseks tuleb ennast registreerida.

• Kui kasutate http://maurus.ttu.ee keskkonda esmakordselt, siis valige õppeaine lehelt menüüst Üldist=> Registreerumine. Täitke vorm ja vajutage nupule "Registreeri".
• Kui juba olete õpikeskkonnas mingile lehele registreerunud, siis siis valige Mauruse esilehel menüüst Üldist=>Minu konto ja lisage enda aktiivsete lehtede hulka: "Andmebaasid II (IDU0230)(sügis 2016)" Ärge unustage vajutada "registreeri".

Registreerumise järel peate ootama kuni õppejõud teie juurdepääsu õiguse kinnitab.