Σύμφωνα με το μύθο, στον αγώνα μεταξύ των θεών για την ανάδειξη του προστάτη των Αθηνών, που έγινε στον ιερό βράχο της Ακρόπολης, νικήτρια βγήκε η Αθηνά δωρίζοντας στους Αθηναίους την πρώτη ελιά του κόσμου, που φύτρωσε εκεί που χτύπησε το δόρυ της.
Το δέντρο αυτό ήταν χρήσιμο για τη διατροφή, το φωτισμό, τη θέρμανση, την υγεία και τον καλλωπισμό των Αθηναίων. Από τότε τα ελαιόδεντρα γύρω από την Αθήνα έγιναν ιερά και όποιος τολμούσε να τα πειράξει τον εξοστράκιζαν ή τον τιμωρούσαν με την ποινή του θανάτου.
Οι Έλληνες ήταν ο πρώτος λαός που καλλιέργησε την ελιά στον ευρωπαϊκό μεσογειακό χώρο. Πιθανότατα κατάγεται από την περιοχή της ανατολικής Μεσογείου. Την μετέφεραν είτε Έλληνες άποικοι, είτε Φοίνικες έμποροι. Όπως αναφέρεται από αρχαίες πηγές, κατά το 580 π.Χ, ούτε το Λάτιο ούτε η Ισπανία ούτε η Τύνιδα γνώριζαν την ελιά και την καλλιέργειά της.
Στους ολυμπιακούς αγώνες η ελιά χρησιμοποιείτο ως έπαθλο για τους ολυμπιονίκες, το οποίο ονομαζόταν κότινος. Ο κότινος ήταν στεφάνι από κλαδί αγριελιάς με το οποίο στεφάνωναν τον νικητή στους ολυμπιακούς αγώνες της αρχαιότητας. Τα κλαδιά από την ελιά, που βρισκόταν κοντά στο ναό του Δία, τα έκοβε ένας «παις αμφιθαλής» δηλαδή ένα αγόρι του οποίου και οι δύο γονείς βρίσκονταν εν ζωή με χρυσό ψαλίδι. Στη συνέχεια τα πήγαινε στο ναό της Ήρας και τα τοποθετούσε πάνω σε μια χρυσελεφάντινη τράπεζα. Από εκεί τα έπαιρναν οι Ελλανοδίκες, οι κριτές των αρχαίων Ολυμπιακών αγώνων, έφτιαχναν στεφάνια και τα πρόσφεραν στους νικητές ως βραβείο.
Τέλος η ελιά κατά την αρχαιότητα εμφανίζεται και σαν διακοσμητικό στοιχείο πάνω σε αντικείμενα καθημερινής χρήσης με μοτίβα από κλαδιά και καρπούς.